Image Recognition

O reconhecimento de imagens é o termo abrangente para o software que identifica o que uma imagem contém: objetos, pessoas, lugares, texto ou ações. No uso quotidiano, é sinónimo de classificação de imagens, atribuindo uma etiqueta como «golden retriever» ou «pneumonia» a uma imagem completa. Na investigação, «reconhecimento visual» abrange a família mais ampla de tarefas que identificam conteúdo em imagens, como no ImageNet Large Scale Visual Recognition Challenge, que decorreu de 2010 a 2017 com competições de classificação, localização e deteção de objetos.

Como funciona o reconhecimento de imagens#

Um modelo de reconhecimento transforma píxeis numa descrição compacta e, em seguida, compara essa descrição com aquilo que conhece. Um backbone, que pode ser uma rede neuronal convolucional (CNN) ou um transformador de visão (ViT), extrai características camada a camada, desde arestas e texturas nas camadas iniciais até partes e objetos inteiros nas camadas mais profundas, e agrupa-as num vetor de características, ou incorporação. O que acontece a seguir depende de como o conjunto de respostas possíveis está definido:

Uma cabeça de classificação treinada com aprendizagem supervisionada em imagens etiquetadas, como as 1,28 milhões de imagens de treino das 1.000 classes do ImageNet, escolhe a mais provável entre as classes fixas. O reconhecimento facial e de produtos compara a incorporação com uma galeria de exemplos armazenados, permitindo adicionar novas pessoas ou produtos sem voltar a treinar. Os modelos zero-shot, como o CLIP da OpenAI, incorporam imagens e texto no mesmo espaço e reconhecem qualquer categoria que possa ser descrita num prompt de texto.

Antes do deep learning, os sistemas de reconhecimento forneciam características concebidas manualmente, como pontos-chave SIFT e histogramas de gradientes orientados, a classificadores como as máquinas de vetores de suporte. Em 2012, o AlexNet reduziu a taxa de erro top-5 do ImageNet de 26,2%, obtida pelo segundo classificado, para 15,3%, e as características aprendidas têm dominado desde então.

Formas de reconhecimento de imagens#

• Classificação de imagens: Uma etiqueta, ou várias no caso da classificação multietiqueta, para a imagem completa.
• Deteção de objetos: Uma etiqueta e uma caixa delimitadora para cada objeto, pelo que uma fotografia com três cães produz três resultados.
• Reconhecimento facial: Identifica ou verifica uma pessoa específica comparando uma incorporação facial com rostos registados.
• Reconhecimento ótico de caracteres (OCR): Lê texto impresso ou manuscrito numa imagem e converte-o em caracteres legíveis por máquina.
• Reconhecimento de ações: Identifica o que as pessoas estão a fazer ao longo dos fotogramas de um vídeo.

O YOLO26 abrange as duas primeiras formas: os seus modelos -cls atribuem à imagem completa uma das 1.000 classes do ImageNet, e os seus modelos de deteção identificam e localizam cada objeto. Este exemplo executa ambos na mesma fotografia:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"

# Reconhecimento ao nível da imagem: uma etiqueta para a imagem completa
classifier = YOLO("yolo26n-cls.pt")
results = classifier(image)
result = results[0]
print("Image label:", result.names[result.probs.top1])

# Reconhecimento ao nível do objeto: uma etiqueta para cada objeto encontrado
detector = YOLO("yolo26n.pt")
results = detector(image)
result = results[0]
print("Objects:", [result.names[int(c)] for c in result.boxes.cls])

O classificador devolve uma única etiqueta do ImageNet para a fotografia completa, e o detetor devolve uma etiqueta COCO para cada objeto encontrado.

Aplicações no mundo real#

• Análise de imagens médicas: Os modelos classificam radiografias torácicas, fotografias de pele e exames da retina como normais ou anormais, para que os médicos analisem primeiro os casos urgentes.
• Retalho: O reconhecimento de produtos associa artigos nas prateleiras ou na caixa a um catálogo de imagens de produtos, incluindo produtos adicionados depois do treino do modelo.
• Indústria: As câmaras nas linhas de produção reconhecem peças defeituosas e componentes incorretos ou em falta antes da embalagem.
• Acessibilidade: Os leitores de ecrã e as aplicações para telemóvel descrevem fotografias e leem sinais em voz alta para pessoas cegas ou com baixa visão.

Reconhecimento para além de etiquetas fixas#

Os classificadores com etiquetas fixas reconhecem apenas as classes com que foram treinados, e acrescentar uma classe implica recolher imagens etiquetadas e voltar a treinar. Os modelos treinados com pares de imagem e texto eliminam essa limitação, e os modelos de visão e linguagem alargam esta capacidade à descrição de cenas e à resposta a perguntas sobre elas. O CLIP, treinado com 400 milhões de pares de imagem e texto da Internet, igualou a precisão do ImageNet do ResNet-50 original em modo zero-shot, sem usar nenhuma das 1,28 milhões de imagens etiquetadas com que o ResNet-50 foi treinado.