Multi-Modal Learning

A aprendizagem multimodal é a área da aprendizagem automática que se dedica ao treino de modelos com dados de mais do que uma modalidade, como imagens com legendas, vídeos com as respetivas bandas sonoras ou fotogramas de câmara com varrimentos lidar, para que o modelo aprenda a relação entre as modalidades. Os seus métodos respondem a duas perguntas: como representar modalidades diferentes para as poder comparar e em que parte do modelo as combinar. Os sistemas resultantes, desde assistentes de visão e linguagem até sistemas de perceção para condução autónoma, são descritos como IA multimodal.

As pessoas combinam os sentidos sem esforço. No efeito McGurk, descrito em 1976, um vídeo de lábios a dizer "ga" dobrado com o som "ba" é ouvido como "da". Em 2011, Jiquan Ngiam e colegas de Stanford aplicaram a ideia à aprendizagem profunda, treinando redes com áudio e vídeo dos lábios em conjunto e mostrando que as características aprendidas com ambas as modalidades melhoravam a leitura labial em relação ao vídeo isolado.

Desafios fundamentais#

No seu estudo de 2019, Tadas Baltrušaitis, Chaitanya Ahuja e Louis-Philippe Morency organizaram o campo em torno de cinco desafios:

• Representação: Codificar cada modalidade como vetores, num espaço conjunto ou em espaços separados, treinados para se alinharem.
• Tradução: Mapear uma modalidade para outra, como na criação de legendas para imagens ou na geração de imagens a partir de texto.
• Alinhamento: Encontrar as partes de uma modalidade que correspondem às partes de outra, como a região da imagem descrita por uma frase.
• Fusão: Combinar informações de várias modalidades para fazer uma previsão.
• Aprendizagem conjunta: Transferir conhecimento de uma modalidade com muitos dados para outra com poucos dados.

Estratégias de fusão#

A fusão inicial combina entradas ou características de baixo nível antes de qualquer processamento específico de modalidade, por exemplo, empilhando um mapa de profundidade com canais RGB para formar uma única imagem de quatro canais. A fusão tardia executa um modelo separado para cada modalidade e combina as previsões por média ou votação, continuando a funcionar quando falta uma modalidade. A fusão intermédia codifica cada modalidade separadamente e permite-lhes trocar informações dentro da rede, geralmente através de atenção cruzada, um mecanismo de atenção no qual os tokens de uma modalidade prestam atenção às características de outra. A fusão de sensores em robôs e veículos usa as três abordagens.

A adição de uma modalidade também pode reduzir a precisão. Em 2020, Weiyao Wang, Du Tran e Matt Feiszli demonstraram que uma rede de classificação de vídeo treinada em conjunto com áudio, fotogramas e movimento costuma ter um desempenho inferior ao da sua melhor versão de modalidade única, porque sofre sobreajuste e as modalidades aprendem a ritmos diferentes. O método Gradient-Blending dos autores repondera a função de perda de cada modalidade para compensar esse efeito.

Alinhamento contrastivo#

A aprendizagem contrastiva alinha modalidades sem rótulos manuais. O CLIP da OpenAI (2021) treinou um codificador de imagens e um codificador de texto com 400 milhões de pares de imagens e legendas, para que a incorporação de cada imagem fosse mais semelhante à respetiva legenda do que a todas as outras legendas de um lote; o resultado igualou a precisão ImageNet original do ResNet-50 em zero-shot, sem usar nenhuma das 1,28 milhões de imagens de treino rotuladas do ImageNet. A função de perda é a entropia cruzada aplicada à matriz de semelhanças, nas duas direções:

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Unit-length embeddings for 4 images and 4 captions; row i of each is a matching pair
image_emb = F.normalize(torch.randn(4, 64), dim=-1)
text_emb = F.normalize(image_emb + 0.5 * torch.randn(4, 64), dim=-1)


def contrastive_loss(images, texts, temperature=0.07):
    """CLIP-style symmetric cross-entropy over the image-text similarity matrix."""
    logits = images @ texts.T / temperature
    targets = torch.arange(len(images))  # the matching caption sits on the diagonal
    return (F.cross_entropy(logits, targets) + F.cross_entropy(logits.T, targets)) / 2


print(f"Aligned pairs:    {contrastive_loss(image_emb, text_emb):.3f}")
print(f"Misaligned pairs: {contrastive_loss(image_emb, text_emb.roll(1, dims=0)):.3f}")

Quando cada legenda está próxima da imagem correspondente, a perda é 0.577; deslocar as legendas uma linha, para que cada imagem fique associada à legenda errada, aumenta-a para 2.756. O treino reduz esta perda ao longo de lotes com muitos pares (o CLIP usou 32,768), aproximando cada imagem da sua legenda e afastando-a de todas as outras legendas do lote; o CLIP aprende a temperatura durante o treino, começando em 0.07. O ALIGN da Google (2021) ampliou a mesma abordagem para 1,8 mil milhões de pares ruidosos de imagens e texto alternativo, o SigLIP (2023) substituiu a softmax por uma função sigmoide independente para cada par, e o ImageBind da Meta (2023) alinhou seis modalidades, incluindo áudio, profundidade, dados térmicos e dados de sensores de movimento, associando cada uma delas a imagens.

Os detectores de vocabulário aberto aprendem o mesmo tipo de alinhamento entre texto e regiões da imagem. A receita da Ultralytics para treinar YOLOE-26, um YOLO26 de vocabulário aberto baseado no YOLOE da Universidade Tsinghua, do zero combina rótulos de detecção do Objects365 com dados de grounding do GQA e do Flickr30k, cerca de 1,4 milhão de amostras; o treinador codifica cada nome de classe e frase uma vez com o codificador de texto MobileCLIP2 congelado da Apple e armazena as incorporações em cache, de modo que o treinamento atualiza apenas o detector, incluindo uma pequena camada residual que refina esses vetores de texto armazenados antes de associá-los a características de regiões.

Aprendizagem multimodal e termos relacionados#

• IA multimodal: Os sistemas e aplicações criados com aprendizagem multimodal, como assistentes visuais e sistemas de perceção para assistência à condução.
• Modelo multimodal: Um modelo treinado para processar várias modalidades, o artefacto produzido pela aprendizagem multimodal.
• Modelo de visão e linguagem (VLM): Um modelo multimodal para imagens e texto, muitas vezes treinado em etapas: pré-treinamento contrastivo, depois conexão do codificador de imagem a um modelo de linguagem e, por fim, ajuste fino com instruções visuais.
• Aprendizagem por transferência: Reutiliza um modelo treinado para uma tarefa em outra, e a aprendizagem conjunta aplica essa ideia a várias modalidades.