Contrastive Learning

A aprendizagem contrastiva é um paradigma de aprendizagem automática que ensina os modelos a compreender dados comparando amostras semelhantes e diferentes. Ao contrário da aprendizagem supervisionada tradicional, que depende fortemente de conjuntos de dados rotulados manualmente, a aprendizagem contrastiva é frequentemente utilizada em contextos de aprendizagem auto-supervisionada. A ideia central é simples, mas poderosa: o modelo aprende a aproximar as representações de itens relacionados (pares positivos) num espaço vetorial, enquanto afasta os itens não relacionados (pares negativos). Este processo permite que os algoritmos criem características robustas e generalizáveis a partir de grandes quantidades de dados não rotulados, o que é crucial para escalar sistemas de inteligência artificial (AI).

O mecanismo da aprendizagem contrastiva#

No centro da aprendizagem contrastiva está o conceito de aprender por comparação. Em vez de memorizar que uma imagem específica é um "gato", o modelo aprende que duas fotografias diferentes de um gato são mais semelhantes entre si do que qualquer uma delas é a uma fotografia de um cão. Isto é normalmente conseguido através do uso de aumento de dados. Uma imagem de entrada, frequentemente chamada de "âncora", é transformada em duas versões diferentes utilizando técnicas como recorte, inversão ou variação de cor. Estas duas versões formam um par positivo. O modelo é então treinado para minimizar a distância entre as suas incorporações, enquanto maximiza a distância em relação a outras imagens aleatórias (amostras negativas) no lote.

Esta abordagem ajuda a rede neural a concentrar-se em características semânticas de alto nível, em vez de detalhes de píxeis de baixo nível. Por exemplo, quer um carro seja vermelho ou azul, quer esteja virado para a esquerda ou para a direita, o conceito subjacente de "carro" permanece o mesmo. Ao ignorar estas variações superficiais, o modelo desenvolve uma compreensão mais profunda do mundo visual, o que beneficia significativamente tarefas posteriores como a deteção de objetos e a classificação.

Aplicações no mundo real#

A aprendizagem contrastiva tornou-se uma base fundamental para muitas aplicações de AI de última geração, particularmente quando os dados rotulados são escassos ou dispendiosos de obter.

1. Classificação de imagens zero-shot: Modelos como o CLIP (Pré-treino contrastivo de linguagem e imagem) utilizam a aprendizagem contrastiva para alinhar imagens e texto num espaço de características partilhado. Ao treinar com milhões de pares de imagens e texto, o modelo aprende a associar conceitos visuais a descrições em linguagem natural. Isto permite a aprendizagem zero-shot, na qual o modelo pode classificar imagens em categorias que nunca viu durante o treino, simplesmente comparando a imagem com um prompt textual.

2. Pré-treino robusto para imagiologia médica: Na área da saúde, obter exames médicos rotulados por especialistas é dispendioso e demorado. Os investigadores utilizam a aprendizagem contrastiva para pré-treinar modelos em grandes bases de dados de radiografias ou exames de ressonância magnética não rotulados. Este pré-treino não supervisionado cria um backbone poderoso que pode ser ajustado com um pequeno número de exemplos rotulados para detetar doenças como pneumonia ou tumores com elevada precisão. Esta técnica utiliza a aprendizagem por transferência para melhorar ferramentas de diagnóstico na AI na área da saúde.

Distinguir conceitos relacionados#

É útil distinguir a aprendizagem contrastiva de técnicas semelhantes para compreender o seu papel único no panorama da aprendizagem automática (ML).

• vs. Autoencoders: Embora ambos sejam métodos não supervisionados, os autoencoders procuram reconstruir os dados de entrada píxel a píxel, comprimindo-os numa camada de estrangulamento. A aprendizagem contrastiva, por outro lado, não tenta recriar a imagem, mas concentra-se exclusivamente em aprender representações discriminativas que separam conceitos diferentes.
• vs. Redes generativas adversariais (GANs): As GANs envolvem um gerador que cria dados falsos e um discriminador que tenta detetá-los. A aprendizagem contrastiva concentra-se na aprendizagem de representações, em vez da geração de dados, o que a torna mais adequada para tarefas como pesquisa, recuperação e classificação.
• vs. Triplet Loss: A triplet loss tradicional requer explicitamente uma âncora, uma amostra positiva e uma amostra negativa. Os métodos contrastivos modernos, como o SimCLR ou o MoCo, generalizam esta abordagem comparando simultaneamente uma âncora com muitas amostras negativas dentro de um lote, utilizando frequentemente uma função de perda específica, como a InfoNCE.

Exemplo prático com incorporações#

Embora treinar um modelo contrastivo de raiz exija muitos recursos, podes utilizar facilmente modelos pré-treinados para extrair características. O exemplo seguinte demonstra como carregar um modelo e extrair o vetor de características (incorporação) de uma imagem utilizando o pacote ultralytics. Esta incorporação representa o conteúdo semântico aprendido através de técnicas semelhantes ao pré-treino contrastivo.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Esta capacidade de extrair características ricas e significativas torna a aprendizagem contrastiva essencial para criar sistemas modernos de visão computacional (CV), permitindo uma pesquisa de imagens eficiente e análises avançadas. Para gerir conjuntos de dados e treinar modelos personalizados que beneficiem destas arquiteturas avançadas, a Ultralytics Platform fornece um ambiente simplificado para implementação e monitorização.