Zero-Shot Learning

A aprendizagem Zero-Shot (ZSL) é um paradigma de aprendizagem automática que permite aos modelos de inteligência artificial reconhecer, classificar ou detetar objetos que nunca encontraram durante a fase de treino. Na aprendizagem supervisionada tradicional, um modelo precisa de milhares de exemplos anotados para cada categoria específica que deve identificar. A ZSL elimina esta dependência rigorosa ao tirar partido de informações auxiliares — normalmente descrições textuais, atributos semânticos ou embeddings — para estabelecer uma ligação entre classes observadas e não observadas. Esta capacidade permite que os sistemas de inteligência artificial (AI) sejam significativamente mais flexíveis e escaláveis, além de capazes de lidar com ambientes dinâmicos onde recolher dados exaustivos para cada objeto possível é impraticável.

Como funciona a aprendizagem Zero-Shot#

O mecanismo principal da ZSL envolve transferir conhecimento de conceitos familiares para conceitos desconhecidos utilizando um espaço semântico partilhado. Em vez de aprender a reconhecer uma "zebra" apenas memorizando padrões de píxeis de riscas pretas e brancas, o modelo aprende a relação entre características visuais e atributos semânticos (por exemplo, "forma semelhante à de um cavalo", "padrão às riscas", "quatro patas") derivados do processamento de linguagem natural (NLP).

Este processo baseia-se frequentemente em modelos multimodais que alinham representações de imagens e texto. Por exemplo, investigação fundamental como o CLIP da OpenAI demonstra como os modelos podem aprender conceitos visuais a partir de supervisão em linguagem natural. Quando um modelo ZSL encontra um objeto não observado, extrai as características visuais e compara-as com um dicionário de vetores semânticos. Se as características visuais estiverem alinhadas com a descrição semântica da nova classe, o modelo pode classificá-la corretamente, efetuando efetivamente uma previsão "zero-shot". Esta abordagem é fundamental para os modernos modelos fundacionais, que generalizam entre uma vasta gama de tarefas.

Aplicações no mundo real#

A aprendizagem Zero-Shot está a impulsionar a inovação em vários setores ao permitir que os sistemas generalizem para além dos seus dados de treino iniciais.

1. Deteção de objetos de vocabulário aberto: Arquiteturas modernas como o YOLO-World utilizam ZSL para detetar objetos com base em prompts de texto definidos pelo utilizador. Isto permite a deteção de objetos em cenários onde é impossível definir antecipadamente uma lista fixa de classes, como na procura de itens específicos em vastos arquivos de vídeo. Investigadores da Google Research continuam a expandir os limites destas capacidades de vocabulário aberto.

2. Diagnóstico médico: Na AI na área da saúde, obter dados anotados para doenças raras é frequentemente difícil e dispendioso. Os modelos ZSL podem ser treinados com condições comuns e descrições de sintomas raros provenientes de literatura médica disponível em bases de dados como a PubMed, permitindo ao sistema sinalizar potenciais anomalias raras em imagens médicas sem exigir um conjunto de dados massivo de casos positivos.

3. Conservação da vida selvagem: Na AI na agricultura e na ecologia, é fundamental identificar espécies ameaçadas que raramente são fotografadas. A ZSL permite aos conservacionistas detetar estes animais utilizando descrições baseadas em atributos, definidas em bases de dados biológicas como a Encyclopedia of Life.

Deteção Zero-Shot com Ultralytics#

O modelo Ultralytics YOLO-World exemplifica a aprendizagem Zero-Shot em ação. Permite aos utilizadores definir classes personalizadas dinamicamente durante a execução, sem voltar a treinar o modelo. Isto é conseguido ligando uma rede de base de deteção robusta a um codificador de texto que compreende linguagem natural.

O exemplo seguinte em Python demonstra como utilizar o YOLO-World para detetar objetos que não faziam explicitamente parte de um conjunto de treino padrão utilizando o pacote ultralytics.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Distinção em relação a conceitos relacionados#

Para compreender plenamente a ZSL, é útil distingui-la de estratégias de aprendizagem semelhantes utilizadas em visão computacional (CV):

• Aprendizagem Few-Shot (FSL): Enquanto a ZSL não requer nenhum exemplo da classe-alvo, a FSL fornece ao modelo um conjunto de suporte muito pequeno (normalmente 1 a 5 exemplos) para adaptação. A ZSL é geralmente considerada mais desafiante, pois depende inteiramente de inferência semântica, em vez de exemplos visuais.
• Aprendizagem One-Shot: Um subconjunto da FSL em que o modelo aprende a partir de exatamente um exemplo anotado. A ZSL difere fundamentalmente porque funciona sem sequer uma única imagem da nova categoria.
• Aprendizagem por transferência: Este termo abrangente refere-se à transferência de conhecimento de uma tarefa para outra. A ZSL é um tipo específico de aprendizagem por transferência que utiliza atributos semânticos para transferir conhecimento para classes não observadas, sem a necessidade de fine-tuning tradicional com novos dados.

Desafios e Perspetivas Futuras#

Embora a ZSL ofereça um potencial enorme, enfrenta desafios como o problema de mudança de domínio, em que os atributos semânticos aprendidos durante o treino não correspondem perfeitamente à aparência visual das classes não observadas. Além disso, os modelos ZSL podem sofrer de enviesamento, com uma precisão de previsão significativamente superior para classes observadas em comparação com as não observadas.

A investigação de organizações como o AI Lab da Universidade de Stanford e a IEEE Computer Society continua a abordar estas limitações. À medida que as ferramentas de visão computacional se tornam mais robustas, espera-se que a ZSL se torne uma funcionalidade padrão, reduzindo a dependência de esforços massivos de anotação de dados. Para equipas que procuram gerir conjuntos de dados de forma eficiente antes de implementar modelos avançados, a Ultralytics Platform oferece ferramentas abrangentes para anotação e gestão de conjuntos de dados.