Aprendizagem Contrastiva

Como funciona a aprendizagem contrastiva

O processo envolve normalmente as seguintes etapas:

1. Aumento de dados: Começa com um ponto de dados não rotulado (por exemplo, uma imagem). Cria duas ou mais versões aumentadas deste ponto de dados. Estas versões aumentadas formam um "par positivo" porque têm origem na mesma fonte e devem ser consideradas semelhantes. As técnicas comuns de aumento de dados incluem o recorte aleatório, a variação de cor, a rotação ou a adição de ruído.
2. Amostragem negativa: Seleciona outros pontos de dados do conjunto de dados (ou do lote atual) que são diferentes do ponto de dados original. Estes formam "pares negativos" com os aumentos do ponto de dados original.
3. Codificação: Passa amostras positivas e negativas através de uma rede neural codificadora (NN), frequentemente uma rede neural convolucional (CNN) para imagens ou um transformador para texto ou imagens(Vision Transformer (ViT)). Esta rede transforma os dados de entrada em representações de dimensão inferior, conhecidas como embeddings.
4. Cálculo da perda: Aplica uma função de perda contrastiva, como InfoNCE (Estimativa Contrastiva de Ruído) ou Perda de Tripleto. Esta função calcula uma pontuação com base nas distâncias entre as incorporações. Encoraja as incorporações de pares positivos a estarem próximas (baixa distância/alta semelhança) e as incorporações de pares negativos a estarem afastadas (alta distância/baixa semelhança).
5. Otimização: Utiliza algoritmos de otimização como o Stochastic Gradient Descent (SGD) ou o Adam para atualizar os pesos do codificador com base na perda calculada, melhorando iterativamente a qualidade das representações aprendidas através da retropropagação.

Aprendizagem Contrastiva vs. Termos Relacionados

A aprendizagem contrastiva difere de outros paradigmas de ML:

• Aprendizagem supervisionada: Requer rótulos explícitos para cada ponto de dados (por exemplo, "gato", "cão"). A aprendizagem contrastiva utiliza principalmente dados não rotulados, gerando o seu próprio sinal de supervisão através do emparelhamento positivo/negativo.
• Aprendizagem não supervisionada (Clustering): Métodos como o K-Means agrupam dados com base em estruturas inerentes. A aprendizagem contrastiva treina explicitamente um modelo para criar um espaço de representação em que a semelhança é definida pelos pares positivo/negativo, concentrando-se na aprendizagem de caraterísticas discriminativas.
• Modelos generativos: Modelos como GANs ou Modelos de Difusão aprendem a gerar novos dados semelhantes aos dados de treino. A aprendizagem contrastiva centra-se na aprendizagem de representações discriminativas em vez de gerar dados.

Aplicações no mundo real

A aprendizagem contrastiva é excelente para aprender representações que se transferem bem para outras tarefas:

• Pré-treinamento de visão computacional: Modelos como o SimCLR e o MoCo são pré-treinados em grandes conjuntos de dados de imagens sem rótulos (como o ImageNet). As caraterísticas aprendidas aumentam significativamente o desempenho quando o modelo é ajustado para tarefas como classificação de imagens, deteção de objetos usando modelos como Ultralytics YOLO11ou segmentação semântica. Por exemplo, um modelo pré-treinado com aprendizagem contrastiva em imagens gerais pode ser efetivamente aperfeiçoado para tarefas especializadas, como a análise de imagens médicas ou de imagens de satélite com menos dados rotulados.
• Processamento de Linguagem Natural (PLN): É utilizado para aprender frases ou documentos de alta qualidade. Por exemplo, os modelos podem ser treinados para reconhecer que duas frases redigidas de forma diferente, que descrevem o mesmo conceito (par positivo), devem ter encaixes semelhantes, enquanto frases com significados não relacionados (par negativo) devem ter encaixes diferentes. Isto é útil para a pesquisa semântica, a resposta a perguntas e o agrupamento de textos. O modelo CLIP utiliza nomeadamente a aprendizagem contrastiva para ligar as representações de texto e imagem.
• Sistemas de recomendação: Aprendizagem de embeddings para utilizadores e itens com base em padrões de interação.
• Deteção de anomalias: Identifica pontos de dados invulgares através da aprendizagem de representações em que os dados normais se agrupam de forma apertada, facilitando a deteção de anomalias.

Benefícios e desafios

Beneficia:

• Reduz a dependência de rótulos: Aproveita grandes quantidades de dados não rotulados, diminuindo a necessidade de rotulagem de dados cara e demorada.
• Representações robustas: Aprende frequentemente caraterísticas que são mais invariantes a variações incómodas em comparação com métodos puramente supervisionados.
• Pré-treino eficaz: Fornece excelentes pontos de partida para afinação em tarefas específicas a jusante, conduzindo frequentemente a um melhor desempenho, especialmente com dados rotulados limitados(aprendizagem de poucos disparos).

Desafios:

• Seleção de amostras negativas: O desempenho pode ser sensível ao número e à qualidade das amostras negativas. A seleção de amostras negativas informativas é crucial mas difícil.
• Estratégia de aumento: A escolha das técnicas de aumento de dados influencia fortemente as invariâncias que o modelo aprende.
• Custo computacional: Frequentemente requer grandes lotes e recursos computacionais significativos(GPUs) para um treinamento eficaz, embora haja pesquisas em andamento para atenuar esse problema. Plataformas como o Ultralytics HUB podem facilitar a gestão e o treino destes modelos. Estruturas como PyTorch(sítio oficial) e TensorFlow(site oficial) fornecem ferramentas para implementar métodos de aprendizagem contrastiva.