Computer Vision (CV)

Visão computacional (CV) é o campo da inteligência artificial (IA) que permite aos computadores extrair significado de imagens, vídeos e outros dados visuais: quais objetos estão presentes, onde estão, como se movem e o que está acontecendo em uma cena. Os sistemas modernos aprendem essas habilidades com exemplos. Um modelo treinado com milhares de imagens rotuladas aprende os padrões visuais que definem um carro, uma rachadura ou um tumor e os aplica a imagens que nunca viu; por isso, hoje o campo se baseia no aprendizado de máquina (ML) e, acima de tudo, no aprendizado profundo (DL).

Como funciona a visão computacional#

Para um computador, uma imagem colorida é uma grade de números. Uma foto de 640×480 contém 921.600 valores, um por pixel para cada um dos três canais de cor, cada qual com intensidade de 0 a 255. Um pipeline de visão computacional transforma essa grade em uma decisão em cinco etapas.

Uma câmera ou um sensor captura a imagem, e o pré-processamento, muitas vezes feito com OpenCV, redimensiona e normaliza a imagem para que o modelo sempre receba entradas no mesmo formato. Em seguida, o modelo realiza a extração de recursos: as primeiras camadas de uma rede neural convolucional (CNN) respondem a bordas e gradientes de cor, as camadas intermediárias os combinam em texturas e partes, e as camadas profundas respondem a objetos inteiros. Os Vision Transformers (ViTs) obtêm representações semelhantes dividindo a imagem em blocos e relacionando cada bloco a todos os outros por meio da autoatenção. Uma cabeça específica para a tarefa converte os recursos na saída, como um rótulo de classe, um conjunto de caixas delimitadoras ou uma máscara de pixels, e o sistema ao redor age com base nela, por exemplo, rejeitando uma peça defeituosa, freando um veículo ou emitindo um alerta.

Os modelos aprendem esses recursos por meio do aprendizado supervisionado. Durante o treinamento, o modelo faz previsões em imagens rotuladas, uma função de perda mede a diferença entre cada previsão e o valor de referência, e a retropropagação ajusta os pesos para reduzir esse erro. Grandes conjuntos de dados públicos, como o ImageNet, com mais de 14 milhões de imagens rotuladas, e o COCO, com 80 categorias de objetos cotidianos, fornecem o pré-treinamento do qual parte a maioria dos modelos personalizados por meio do aprendizado por transferência.

De recursos definidos manualmente ao aprendizado profundo#

A visão computacional inicial dependia de características projetadas manualmente. Engenheiros escreviam detectores de bordas, cantos e padrões de gradiente, como SIFT e HOG, e depois passavam essas características a um classificador; os sistemas resultantes falhavam sempre que a iluminação, o ponto de vista ou o fundo mudavam. A virada aconteceu em 2012, quando o AlexNet venceu o desafio ImageNet com uma taxa de erro top-5 de 15,3%, contra 26,2% da segunda melhor entrada. Desde então, CNNs e, a partir de 2020, Vision Transformers aprenderam suas características diretamente dos dados. Os modelos de linguagem visual (VLMs) agora associam imagens a texto, permitindo que um único modelo responda a perguntas abertas sobre uma foto ou encontre objetos descritos em linguagem simples. O VLM Leaderboard mede a precisão com que esses modelos detectam objetos em conjuntos de dados do mundo real.

Principais tarefas de visão computacional#

Cada tarefa responde a uma pergunta diferente sobre uma imagem:

• Detecção de objetos: encontra cada objeto e desenha uma caixa ao redor dele, com uma classe e uma pontuação de confiança, permitindo contar e localizar os objetos.
• Segmentação de instâncias: atribui a cada objeto sua própria máscara de pixels, para que duas pessoas lado a lado permaneçam separadas.
• Segmentação semântica: rotula cada pixel com uma classe, como estrada, calçada ou céu.
• Estimativa de profundidade: prevê, a partir de uma única imagem, a distância de cada pixel até a câmera.
• Classificação de imagens: atribui um rótulo à imagem inteira, como "defeituoso" ou "OK".
• Estimativa de pose: localiza pontos-chave, como as articulações do corpo, para medir postura e movimento.
• Caixas delimitadoras orientadas (OBB): ajusta caixas rotacionadas a objetos em ângulos variados, como navios e aeronaves em imagens de satélite.
• Rastreamento de objetos: associa detecções entre quadros de vídeo para que cada objeto mantenha um ID consistente.

Escolher uma tarefa começa pela saída necessária à aplicação:

O Ultralytics YOLO26 abrange sete dessas tarefas com uma única API Python: a mesma chamada YOLO() carrega um modelo de detecção, segmentação de instâncias, segmentação semântica, profundidade, classificação, pose ou OBB, e model.track() adiciona rastreamento em vídeo. Este exemplo executa detecção de objetos em uma imagem de amostra:

from ultralytics import YOLO

# Carrega um modelo de detecção nano YOLO26 pré-treinado
model = YOLO("yolo26n.pt")

# Executa a inferência em uma imagem de rua de exemplo
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Exibe a contagem de objetos detectados por classe e salva a imagem anotada
print(result.verbose())
result.save(filename="bus_detections.jpg")

A linha exibida conta as detecções por classe, e a imagem salva desenha cada uma com sua caixa, seu rótulo e sua pontuação de confiança.

Visão computacional versus áreas relacionadas#

• Processamento de imagens: transforma uma imagem em outra, aumentando a nitidez, reduzindo o ruído, redimensionando ou ajustando o contraste. Os pipelines de visão computacional usam essas operações como pré-processamento antes de interpretar a cena.
• Visão de máquina: aplicação industrial da visão computacional à inspeção e à orientação de robôs, geralmente com câmeras fixas, iluminação controlada e hardware dedicado em uma linha de produção.
• Reconhecimento de imagens: sinônimo comum de classificação de imagens, às vezes usado de maneira imprecisa para qualquer tarefa que identifique o conteúdo de uma imagem.

Aplicações no mundo real#

• Manufatura: câmeras inspecionam todas as peças na velocidade da linha em busca de rachaduras, arranhões e componentes desalinhados, além de monitorar o desgaste das máquinas antes que elas falhem.
• Diagnóstico por imagem: modelos sinalizam tumores, fraturas e doenças da retina em radiografias, tomografias e fotografias da retina para análise de radiologistas.
• Veículos autônomos: carros detectam faixas, placas, pedestres e outros veículos em tempo real e combinam as imagens das câmeras com radar e LiDAR para criar um modelo 3D do entorno.
• Varejo: câmeras de prateleira detectam espaços vazios e produtos fora do lugar, e lojas sem caixas registradoras rastreiam os itens levados por cada cliente.
• Agricultura: drones e pulverizadores distinguem plantações de ervas daninhas planta por planta, para que herbicidas e fertilizantes sejam aplicados apenas onde são necessários.
• Segurança e cidades inteligentes: os sistemas contam pessoas e veículos, monitoram o fluxo do trânsito e usam a detecção de anomalias para sinalizar eventos incomuns em áreas restritas.

Desafios e limitações#

Um modelo só é tão bom quanto seu conjunto de treinamento, e a rotulagem de dados, que consiste em desenhar caixas ou máscaras em milhares de imagens, costuma exigir mais esforço do que o próprio treinamento do modelo. As condições também mudam após a implantação: chuva, reflexos, iluminação noturna, oclusão ou uma câmera deslocada alteram a entrada em relação ao que o modelo viu durante o treinamento. O aumento de dados simula essas condições durante o treinamento, e a validação com imagens reservadas detecta o sobreajuste antes do lançamento.

O poder computacional é a próxima limitação. Câmeras, drones e celulares executam modelos com orçamentos restritos de energia e memória; por isso, as implantações de IA na borda priorizam modelos pequenos e a quantização de modelos para alcançar velocidade em tempo real sem enviar vídeos para a nuvem.

Os sistemas que analisam pessoas levantam preocupações sobre viés e privacidade. Um conjunto de dados que sub-representa alguns grupos produz um modelo com desempenho desigual entre esses grupos, e dados faciais e corporais são considerados dados pessoais sensíveis na maioria das leis de privacidade. Desde fevereiro de 2025, o Regulamento de IA da UE proíbe a identificação biométrica remota em tempo real em espaços acessíveis ao público para fins de aplicação da lei, salvo exceções restritas, como procurar vítimas de sequestro ou prevenir uma ameaça terrorista iminente.