Explorando como funcionam as aplicações de visão computacional

Ao explorarmos a história dos modelos de visão computacional, vimos como a visão computacional evoluiu e o caminho que nos levou aos modelos de visão avançados que temos hoje. Modelos modernos como o Ultralytics YOLOv8 suportam múltiplas tarefas de visão computacional e estão sendo utilizados em várias aplicações empolgantes.

Neste artigo, daremos uma olhada nos fundamentos da visão computacional e dos modelos de visão. Abordaremos como eles funcionam e suas diversas aplicações em vários setores. As inovações em visão computacional estão em toda parte, moldando silenciosamente nosso mundo. Vamos descobri-las uma a uma!

Link to this sectionO que é visão computacional?#

Inteligência artificial (IA) é um termo abrangente que engloba muitas tecnologias que visam replicar parte da inteligência humana. Um desses subcampos da IA é a visão computacional. A visão computacional foca em dar às máquinas olhos que possam ver, observar e compreender o que as cerca.

Assim como a visão humana, as soluções de visão computacional visam distinguir objetos, calcular distâncias e detectar movimentos. No entanto, ao contrário dos humanos, que possuem uma vida inteira de experiências para ajudar a ver e entender, os computadores dependem de grandes quantidades de dados, câmeras de alta definição e algoritmos complexos.

Fig 1. Comparando a Visão Humana e a Visão Computacional.

Os sistemas de visão computacional podem processar e analisar dados visuais como imagens e vídeos com velocidades e precisão incríveis. A capacidade de analisar rápida e precisamente grandes quantidades de informações visuais torna a visão computacional uma ferramenta poderosa em diversos setores, desde a manufatura até a saúde.

Link to this sectionModelos de visão suportam várias tarefas de visão computacional#

Modelos de visão computacional são o núcleo de qualquer aplicação de visão computacional. Eles são essencialmente algoritmos computacionais impulsionados por técnicas de deep learning, projetados para dar às máquinas a capacidade de interpretar e entender informações visuais. Os modelos de visão permitem tarefas cruciais de visão computacional, desde classificação de imagens até detecção de objetos. Vamos analisar mais detalhadamente algumas dessas tarefas e seus casos de uso.

Link to this sectionClassificação de imagem#

Classificação de imagens envolve categorizar e rotular imagens em classes ou categorias predefinidas. Um modelo de visão como o YOLOv8 pode ser treinado em grandes datasets de imagens rotuladas. Durante o treinamento, o modelo aprende a reconhecer padrões e características associados a cada classe. Uma vez treinado, ele pode prever a categoria de novas imagens não vistas anteriormente ao analisar suas características e compará-las aos padrões aprendidos.

Fig 2. Um exemplo de classificação de imagens. (fonte: towardsdatascience.com)

Existem diferentes tipos de classificação de imagens. Por exemplo, ao lidar com imagens médicas, você pode usar a classificação binária para dividir fotos em dois grupos, como saudável ou doente. Outro tipo é a classificação multiclasse. Ela pode ajudar a classificar imagens em muitos grupos, como classificar diferentes animais em uma fazenda como porcos, cabras e vacas. Ou, digamos que você queira classificar animais em grupos e subgrupos, como classificar animais em mamíferos e aves e, então, posteriormente em espécies como leões, tigres, águias e pardais; a classificação hierárquica seria a melhor opção.

Link to this sectionDetecção de objetos#

A detecção de objetos é o processo de identificar e localizar objetos em imagens e frames de vídeo usando visão computacional. Consiste em duas tarefas: localização de objetos, que desenha caixas delimitadoras (bounding boxes) ao redor dos objetos, e classificação de objetos, que identifica a categoria de cada objeto. Com base em anotações de caixas delimitadoras, um modelo de visão pode aprender a reconhecer padrões e características específicas de cada categoria de objeto e prever a presença e localização desses objetos em novas imagens não vistas.

Fig 3. YOLOv8 sendo usado para detectar jogadores em um campo de futebol.

A detecção de objetos tem muitos casos de uso em diferentes setores, desde esportes até biologia marinha. Por exemplo, no varejo, a tecnologia Just Walk Out da Amazon usa detecção de objetos para automatizar o checkout, identificando os itens que os clientes pegam. Uma combinação de visão computacional e dados de sensores permite que os clientes peguem seus itens e saiam sem esperar em filas.

Aqui está uma visão mais detalhada de como funciona:

• Câmeras montadas no teto capturam os clientes se movendo pela loja, e essa filmagem é processada em tempo real por modelos de visão.
• A detecção de objetos é usada para identificar o produto exato que um cliente pega e coloca em sua cesta para atualizar seu carrinho virtual adequadamente.
• Sensores de peso nas prateleiras melhoram a precisão ao detectar a remoção ou substituição de itens.
• À medida que o cliente sai da loja, a detecção de objetos e a tecnologia de reconhecimento facial podem ser usadas para confirmar que o cliente saiu, e os detalhes de pagamento, como um cartão de crédito, podem ser usados para cobrar automaticamente.

Link to this sectionSegmentação semântica e de instância#

A segmentação semântica e a segmentação de instância são tarefas de visão computacional que ajudam a particionar imagens em segmentos significativos. A segmentação semântica classifica pixels com base em seu significado semântico e trata todos os objetos dentro de uma categoria como uma única entidade com o mesmo rótulo. É adequada para rotular objetos incontáveis como "o céu" ou "oceano" ou agrupamentos como "folhas" ou "grama".

A segmentação de instância, por outro lado, pode distinguir diferentes instâncias da mesma classe, atribuindo um rótulo exclusivo a cada objeto detectado. Você pode usar a segmentação de instância para segmentar objetos contáveis onde o número e a independência dos objetos são importantes. Isso permite uma identificação e diferenciação mais precisas.

Fig 4. Um exemplo de segmentação semântica e de instância.

Podemos entender o contraste entre segmentação semântica e de instância mais claramente com um exemplo relacionado a carros autônomos. A segmentação semântica é excelente para tarefas que exigem a compreensão do conteúdo de uma cena e pode ser usada em veículos autônomos para classificar características na estrada, como faixas de pedestres e sinais de trânsito. Enquanto isso, a segmentação de instância pode ser usada em veículos autônomos para distinguir entre pedestres, veículos e obstáculos individuais.

Link to this sectionEstimativa de pose#

Pose estimation é uma tarefa de visão computacional focada em detectar e rastrear pontos-chave das poses de um objeto em imagens ou vídeos. É mais comumente usada para estimativa de pose humana, com pontos-chave incluindo áreas como ombros e joelhos. Estimar a pose de uma pessoa nos ajuda a entender e reconhecer ações e movimentos que são críticos para várias aplicações.

Fig 5. Um exemplo de pose estimation usando YOLOv8.

A pose estimation pode ser usada nos esportes para analisar como os atletas se movem. A NBA usa pose estimation para estudar os movimentos e as posições dos jogadores durante o jogo. Ao rastrear pontos-chave como ombros, cotovelos, joelhos e tornozelos, a pose estimation fornece insights detalhados sobre os movimentos dos jogadores. Esses insights ajudam os técnicos a desenvolver melhores estratégias, otimizar programas de treinamento e fazer ajustes em tempo real durante os jogos. Além disso, os dados podem ajudar a monitorar a fadiga do jogador e o risco de lesões para melhorar a saúde e o desempenho geral do jogador.

Link to this sectionDetecção de objetos com caixas delimitadoras orientadas#

A Oriented Bounding Boxes Object Detection (OBB) usa retângulos rotacionados para identificar e localizar objetos com precisão em uma imagem. Ao contrário das caixas delimitadoras padrão que se alinham com os eixos da imagem, as OBBs giram para combinar com a orientação do objeto. Isso as torna especialmente úteis para objetos que não são perfeitamente horizontais ou verticais. Elas são ótimas para identificar e isolar com precisão objetos rotacionados, evitando sobreposições em ambientes lotados.

Fig 6. Um Exemplo de Detecção com Caixa Delimitadora Orientada em uma Imagem Aérea de Barcos Usando YOLOv8.

Na vigilância marítima, identificar e rastrear navios é fundamental para a segurança e gestão de recursos. A detecção OBB pode ser usada para a localização precisa de navios, mesmo quando eles estão densamente agrupados ou orientados em vários ângulos. Isso ajuda a monitorar rotas de navegação, gerenciar o tráfego marítimo e otimizar operações portuárias. Também pode auxiliar na resposta a desastres, identificando e avaliando rapidamente danos a navios e infraestrutura após eventos como furacões ou derramamentos de óleo.

Link to this sectionRastreamento de objetos#

Até agora, discutimos tarefas de visão computacional que lidam com imagens. O rastreamento de objetos é uma tarefa de visão computacional que pode rastrear um objeto ao longo dos frames de um vídeo. Ele começa identificando o objeto no primeiro frame usando algoritmos de detecção e, em seguida, segue continuamente sua posição conforme ele se move pelo vídeo. O rastreamento de objetos envolve técnicas como detecção de objetos, extração de características e previsão de movimento para manter o rastreamento preciso.

Fig 7. Usando YOLOv8 para rastrear peixes.

Modelos de visão como o YOLOv8 podem ser usados para rastrear peixes em biologia marinha. Usando câmeras subaquáticas, pesquisadores podem monitorar os movimentos e comportamentos de peixes em seus habitats naturais. O processo começa detectando peixes individuais nos primeiros frames e, em seguida, segue suas posições ao longo do vídeo. Rastrear peixes ajuda os cientistas a entender padrões migratórios, comportamentos sociais e interações com o meio ambiente. Também apoia práticas de pesca sustentável, fornecendo insights sobre a distribuição e abundância dos peixes.

Link to this sectionUm olhar final sobre a visão computacional#

A visão computacional está mudando ativamente a forma como usamos a tecnologia e interagimos com o mundo. Ao usar modelos de deep learning e algoritmos complexos para entender imagens e vídeos, a visão computacional ajuda as indústrias a simplificar muitos processos. Tarefas de visão computacional como detecção de objetos e rastreamento de objetos estão tornando possível criar soluções que não foram imaginadas antes. À medida que a tecnologia de visão computacional continua melhorando, o futuro reserva muitas outras aplicações inovadoras!

Vamos aprender e crescer juntos! Explore nosso repositório no GitHub para ver nossas contribuições para a IA. Confira como estamos redefinindo indústrias como carros autônomos e agricultura com IA. 🚀