Self-Supervised Learning

A aprendizagem autossupervisionada (SSL) treina um modelo numa tarefa cujos rótulos vêm dos próprios dados, como prever a palavra seguinte de uma frase, preencher partes ocultas de imagens ou reconhecer que dois recortes da mesma fotografia correspondem, permitindo-lhe aprender com grandes quantidades de dados sem rótulos. A aprendizagem supervisionada é limitada pela rotulagem de dados, que é lenta e dispendiosa, enquanto imagens, vídeos, áudio e texto brutos são abundantes. A SSL usa-os para pré-treinar um codificador de uso geral, e a afinação ou uma pequena cabeça treinada adapta-o, depois, a uma tarefa posterior, como a classificação de imagens ou a deteção de objetos, com muito menos rótulos. Todos os grandes modelos de linguagem (LLMs) modernos são pré-treinados desta forma, prevendo o token seguinte em textos, como nos modelos GPT, e o DINOv3 da Meta levou o pré-treino autossupervisionado de imagens à escala de um modelo com 7 mil milhões de parâmetros, treinado com 1,7 mil milhões de imagens.

Como funciona a aprendizagem autossupervisionada#

Um método de SSL define uma tarefa pretexto: oculta ou transforma parte de cada entrada e treina a rede para recuperar o que foi removido ou reconhecer o que permaneceu igual. A tarefa pretexto raramente é útil por si só. O importante é que, para a resolver, a rede tem de aprender a estrutura dos dados, como formas de objetos, texturas e relações entre partes; estas características transferem-se para tarefas com rótulos. Após o pré-treino, o codificador é avaliado ou utilizado através de sondagem linear sobre características congeladas, ou afinando todos os seus pesos:

Principais famílias de métodos#

• Previsão mascarada: Oculta parte da entrada e treina o modelo para a reconstruir. O BERT prevê palavras ocultas aleatoriamente, e os autoencoders mascarados ocultam 75% dos recortes de uma imagem e reconstroem os píxeis. Prever o próximo token de uma sequência aplica a mesma ideia ao texto.
• Aprendizagem contrastiva: Cria duas versões aumentadas de cada imagem e treina embeddings para que as versões da mesma imagem correspondam e as de imagens diferentes não correspondam. SimCLR e MoCo são os exemplos mais conhecidos.
• Autodestilação: Uma rede estudante aprende a corresponder à saída de uma rede professora, que é uma média da estudante atualizada lentamente, em diferentes recortes da mesma imagem, sem pares negativos. BYOL e DINO usam esta abordagem, e DINOv2 e DINOv3 aplicam-na a conjuntos de dados selecionados com mais de 100 milhões de imagens.
• Previsão de embeddings conjuntos: Prevê os embeddings de regiões ocultas a partir das regiões visíveis, para que o modelo aprenda conteúdo abstrato sem gastar capacidade em detalhes dos píxeis. I-JEPA e V-JEPA da Meta aplicam esta abordagem a imagens e vídeos.

A escolha influencia as características. A reconstrução mascarada preserva detalhes espaciais finos e adapta-se bem à afinação, enquanto os métodos contrastivos e de autodestilação produzem características que funcionam bem congeladas. É por isso que os codificadores da família DINO são populares como backbones para estimação de profundidade e segmentação semântica.

Aprendizagem autossupervisionada em visão computacional#

Os transformers de visão e a SSL complementam-se: mascarar blocos inteiros corresponde diretamente às entradas de tokens de um ViT, e os ViTs beneficiam de mais dados de treino do que os conjuntos de dados rotulados disponibilizam. Muitos modelos fundacionais partem de codificadores autossupervisionados. O SAM 2 da Meta, disponível no pacote Ultralytics para segmentação de imagens e vídeos guiada por prompts, utiliza um codificador de imagens Hiera pré-treinado como autoencoder mascarado antes de qualquer treino de segmentação.

Aplicações#

• Imagiologia médica: Os hospitais têm muito mais exames do que os radiologistas conseguem anotar. O pré-treino com radiografias, tomografias ou ressonâncias magnéticas sem rótulos produz um codificador que, mais tarde, aprende tarefas como a deteção de tumores a partir de um pequeno conjunto de rótulos de especialistas.
• Imagens de satélite: A Meta treinou uma variante do DINOv3 com 493 milhões de imagens de satélite, e o World Resources Institute utiliza-a para mapear a altura da cobertura arbórea. Numa região do Quénia, reduziu de 4,1 para 1,2 metros o erro médio de altura dos mapas anteriores baseados no DINOv2.
• Reconhecimento de fala: O wav2vec 2.0 foi pré-treinado com 53 000 horas de áudio sem rótulos e, após ser afinado com apenas 10 minutos de fala transcrita, atingiu taxas de erro de palavras de 4,8% e 8,2% nos conjuntos de teste clean e other do LibriSpeech.

Aprendizagem autossupervisionada vs. termos relacionados#

• Aprendizagem não supervisionada: Aprendizagem sem rótulos humanos em geral, incluindo agrupamento e estimativa de densidade. A SSL costuma ser considerada uma forma de aprendizagem não supervisionada, mas é treinada como aprendizagem supervisionada, com alvos gerados a partir dos dados.
• Aprendizagem semissupervisionada: Treina simultaneamente com um pequeno conjunto rotulado e um grande conjunto sem rótulos. A SSL faz o pré-treino apenas com dados sem rótulos, e os dois métodos combinam bem: o SimCLRv2 afinou um grande modelo autossupervisionado com 1% dos rótulos do ImageNet e, depois, destilou-o usando as imagens sem rótulos.
• Aprendizagem por transferência: Reutiliza um modelo pré-treinado para uma nova tarefa. A SSL é uma forma de produzir esse modelo pré-treinado sem rótulos.
• Aumento de dados: Recortes aleatórios, alterações de cor e inversões que expandem um conjunto de dados rotulado. Na SSL contrastiva, as mesmas transformações definem quais versões contam como a mesma imagem, determinando o que o codificador aprende a ignorar.