Entenda como funcionam as aplicações da visão computacional

Quando exploramos a história dos modelos de visão computacional, vimos como a visão computacional evoluiu e qual caminho levou aos modelos visuais avançados que temos hoje. Modelos modernos como o Ultralytics YOLOv8 e seus sucessores, incluindo o mais recente Ultralytics YOLO26, oferecem suporte a várias tarefas de visão computacional e são usados em diversas aplicações interessantes.

Neste artigo, vamos apresentar os fundamentos da visão computacional e dos modelos visuais. Vamos explicar como eles funcionam e mostrar suas diversas aplicações em vários setores. As inovações em visão computacional estão por toda parte, muitas vezes atuando discretamente em segundo plano.

O que é visão computacional?#

Inteligência artificial (AI) é um termo abrangente que engloba muitas tecnologias destinadas a replicar parte da inteligência humana. Um dos subcampos da IA é a visão computacional. A visão computacional busca dar olhos às máquinas para que elas possam ver, observar e compreender o que as cerca.

Assim como a visão humana, as soluções de visão computacional buscam distinguir objetos, calcular distâncias e detectar movimentos. No entanto, ao contrário dos seres humanos, que contam com uma vida inteira de experiências para ajudá-los a ver e compreender, os computadores dependem de grandes volumes de dados, câmeras de alta definição e algoritmos complexos.

Fig. 1 Comparação entre a visão humana e a visão computacional.

Os sistemas de visão computacional podem processar e analisar dados visuais, como imagens e vídeos, com rapidez e precisão. A capacidade de analisar grandes volumes de informações visuais com rapidez e precisão faz da visão computacional uma ferramenta poderosa em diversos setores, da manufatura à saúde.

Os modelos de visão oferecem suporte a diversas tarefas de visão computacional#

Os modelos de visão computacional são a base de qualquer aplicação de visão computacional. Essencialmente, são algoritmos computacionais que usam técnicas de aprendizado profundo e foram projetados para dar às máquinas a capacidade de interpretar e compreender informações visuais. Os modelos de visão permitem tarefas essenciais de visão computacional, que vão da classificação de imagens à detecção de objetos. Vamos analisar algumas dessas tarefas e seus casos de uso com mais detalhes.

Classificação de imagens#

A classificação de imagens consiste em categorizar e rotular imagens de acordo com classes ou categorias predefinidas. Um modelo visual como o YOLOv8 pode ser treinado com grandes conjuntos de dados de imagens rotuladas. Durante o treinamento, o modelo aprende a reconhecer padrões e características associados a cada classe. Depois de treinado, ele pode prever a categoria de imagens novas e inéditas ao analisar suas características e compará-las com os padrões aprendidos.

Fig. 2. Exemplo de classificação de imagens. (fonte: towardsdatascience.com)

Há diferentes tipos de classificação de imagens. Por exemplo, ao lidar com imagens médicas, você pode usar a classificação binária para dividir as imagens em dois grupos, como saudáveis ou doentes. Outro tipo é a classificação multiclasse, que pode ajudar a classificar imagens em vários grupos, como diferentes animais de uma fazenda, por exemplo, porcos, cabras e vacas. Ou imagine que você queira classificar animais em grupos e subgrupos, como mamíferos e aves e, depois, em espécies como leões, tigres, águias e pardais; nesse caso, a classificação hierárquica seria a melhor opção.

Detecção de objetos#

A detecção de objetos é o processo de identificar e localizar objetos em imagens e quadros de vídeo usando visão computacional. Ela consiste em duas tarefas: a localização de objetos, que desenha caixas delimitadoras ao redor dos objetos, e a classificação de objetos, que identifica a categoria de cada objeto. Com base em anotações de caixas delimitadoras, um modelo de visão pode aprender a reconhecer padrões e características específicos de cada categoria de objeto e prever a presença e a localização desses objetos em imagens novas e nunca vistas.

Fig. 3. Detecção de objetos com YOLOv8 para identificar jogadores em um campo de futebol.

A detecção de objetos tem muitos casos de uso em diferentes setores, dos esportes à biologia marinha. Por exemplo, no varejo, a tecnologia Just Walk Out da Amazon usa detecção de objetos para automatizar o pagamento, identificando os itens que os clientes pegam. A combinação de visão computacional e dados de sensores permite que os clientes peguem seus itens e saiam sem esperar na fila.

Veja mais de perto como funciona:

• Câmeras instaladas no teto registram os clientes circulando pela loja, e esses vídeos são processados em tempo real por modelos de visão.
• A detecção de objetos identifica o produto exato que o cliente pega e coloca na cesta para atualizar o carrinho virtual de acordo.
• Sensores de peso nas prateleiras aumentam a precisão ao detectar a retirada ou a reposição de itens.
• Quando o cliente sai da loja, tecnologias de detecção de objetos e reconhecimento facial podem ser usadas para confirmar sua saída, e os dados de pagamento, como o cartão de crédito, podem ser usados para cobrar automaticamente.

Segmentação semântica e de instâncias#

A segmentação semântica e a segmentação de instâncias são tarefas de visão computacional que ajudam a dividir imagens em segmentos significativos. A segmentação semântica classifica os pixels com base em seu significado semântico e trata todos os objetos de uma categoria como uma única entidade com o mesmo rótulo. Ela é adequada para rotular objetos incontáveis, como "o céu" ou "o oceano", ou conjuntos de elementos, como "folhas" ou "grama".

A segmentação de instâncias, por outro lado, consegue distinguir diferentes instâncias da mesma classe atribuindo um rótulo exclusivo a cada objeto detectado. Você pode usar a segmentação de instâncias para segmentar objetos contáveis, cujo número e independência são importantes. Ela permite identificar e diferenciar os objetos com mais precisão.

Fig. 4. Exemplo de segmentação semântica e de instâncias.

Podemos entender melhor a diferença entre segmentação semântica e segmentação de instâncias com um exemplo relacionado a carros autônomos. A segmentação semântica é ótima para tarefas que exigem a compreensão do conteúdo de uma cena e pode ser usada em veículos autônomos para classificar elementos da via, como faixas de pedestres e sinais de trânsito. Já a segmentação de instâncias pode ser usada em veículos autônomos para distinguir pedestres, veículos e obstáculos individuais.

Estimativa de pose#

A estimativa de pose é uma tarefa de visão computacional voltada à detecção e ao rastreamento de pontos-chave da pose de um objeto em imagens ou vídeos. Ela é mais comumente usada para estimar a pose humana, com pontos-chave que incluem áreas como ombros e joelhos. Estimar a pose humana nos ajuda a entender e reconhecer ações e movimentos essenciais para diversas aplicações.

Fig. 5. Exemplo de estimativa de pose usando YOLOv8.

A estimativa de pose pode ser usada no esporte para analisar os movimentos dos atletas. A NBA usa a estimativa de pose para estudar os movimentos e as posições dos jogadores durante as partidas. Ao rastrear pontos-chave como ombros, cotovelos, joelhos e tornozelos, a estimativa de pose fornece informações detalhadas sobre os movimentos dos jogadores. Essas informações ajudam os técnicos a desenvolver estratégias melhores, otimizar programas de treinamento e fazer ajustes em tempo real durante as partidas. Além disso, os dados podem ajudar a monitorar a fadiga e o risco de lesões dos jogadores, melhorando a saúde e o desempenho geral deles.

Detecção de objetos com caixas delimitadoras orientadas#

A detecção de objetos com caixas delimitadoras orientadas (OBB) usa retângulos rotacionados para identificar e localizar objetos em uma imagem com precisão. Ao contrário das caixas delimitadoras padrão, alinhadas aos eixos da imagem, as OBBs giram para acompanhar a orientação do objeto. Isso as torna especialmente úteis para objetos que não estão perfeitamente na horizontal ou na vertical. Elas são ótimas para localizar e isolar objetos rotacionados com precisão, evitando sobreposições em ambientes movimentados.

Fig. 6. Exemplo de detecção de caixas delimitadoras orientadas em uma imagem aérea de barcos usando YOLOv8.

Na vigilância marítima, identificar e rastrear embarcações é essencial para a segurança e a gestão de recursos. A detecção de OBB pode ser usada para localizar embarcações com precisão, mesmo quando estão muito próximas umas das outras ou posicionadas em ângulos variados. Isso ajuda a monitorar rotas marítimas, gerenciar o tráfego marítimo e otimizar as operações portuárias. Também pode contribuir para a resposta a desastres, identificando e avaliando rapidamente os danos a embarcações e à infraestrutura após eventos como furacões ou derramamentos de petróleo.

Rastreamento de objetos#

Até aqui, falamos sobre tarefas de visão computacional que lidam com imagens. O rastreamento de objetos é uma tarefa de visão computacional capaz de rastrear um objeto ao longo dos quadros de um vídeo. Primeiro, identifica o objeto no primeiro quadro usando algoritmos de detecção e, em seguida, acompanha continuamente sua posição à medida que ele se move pelo vídeo. O rastreamento de objetos envolve técnicas como detecção de objetos, extração de características e previsão de movimento para manter a precisão do rastreamento.

Fig. 7. Usando YOLOv8 para rastrear peixes.

Modelos de visão como YOLOv8 podem ser usados para rastrear peixes na biologia marinha. Com câmeras subaquáticas, pesquisadores podem monitorar os movimentos e comportamentos dos peixes em seus habitats naturais. O processo começa com a detecção de peixes individuais nos primeiros quadros e, em seguida, acompanha suas posições ao longo do vídeo. Rastrear peixes ajuda cientistas a compreender padrões de migração, comportamentos sociais e interações com o ambiente. Isso também contribui para práticas de pesca sustentáveis, fornecendo informações sobre a distribuição e a abundância dos peixes.

Uma última análise da visão computacional#

A visão computacional está mudando ativamente a forma como usamos a tecnologia e interagimos com o mundo. Ao usar modelos de aprendizado profundo e algoritmos complexos para compreender imagens e vídeos, a visão computacional ajuda os setores a otimizar muitos processos. Tarefas de visão computacional, como detecção e rastreamento de objetos, possibilitam criar soluções que antes não eram viáveis. Com a evolução contínua da tecnologia de visão computacional, o futuro reserva muitas outras aplicações inovadoras!

Vamos aprender e crescer juntos! Explore nosso repositório no GitHub para conhecer nossas contribuições para a IA. Veja como estamos redefinindo setores como carros autônomos e agricultura com IA.