Multi-Modal Learning

El aprendizaje multimodal es el área del aprendizaje automático que se ocupa de entrenar modelos con datos de más de una modalidad, como imágenes con subtítulos, vídeos con su banda sonora o fotogramas de una cámara con escaneos lidar, para que el modelo aprenda cómo se relacionan esas modalidades. Sus métodos responden a dos preguntas: cómo representar distintas modalidades para poder compararlas y en qué parte del modelo combinarlas. Los sistemas creados con estos métodos, desde asistentes de visión y lenguaje hasta pilas de percepción para vehículos autónomos, se describen como IA multimodal.

Las personas combinan los sentidos sin esfuerzo. En el efecto McGurk, descrito en 1976, un vídeo de unos labios que dicen «ga» doblado con el sonido «ba» se oye como «da». En 2011, Jiquan Ngiam y sus colegas de Stanford aplicaron la idea al aprendizaje profundo: entrenaron redes con audio y vídeo de labios y demostraron que las características aprendidas con ambas modalidades mejoraban la lectura de labios frente al uso exclusivo del vídeo.

Desafíos principales#

En su estudio de 2019, Tadas Baltrušaitis, Chaitanya Ahuja y Louis-Philippe Morency organizaron el campo en torno a cinco desafíos:

• Representación: Codificar cada modalidad como vectores, ya sea en un único espacio conjunto o en espacios separados entrenados para que se alineen.
• Traducción: Convertir una modalidad en otra, como en la generación de subtítulos para imágenes o la generación de imágenes a partir de texto.
• Alineación: Encontrar qué partes de una modalidad se corresponden con qué partes de otra, como la región de una imagen descrita por una frase.
• Fusión: Combinar información de varias modalidades para realizar una predicción.
• Aprendizaje conjunto: Transferir conocimientos de una modalidad con muchos datos a otra con pocos.

Estrategias de fusión#

La fusión temprana combina las entradas o las características de bajo nivel antes de cualquier procesamiento específico de cada modalidad; por ejemplo, apila un mapa de profundidad con los canales RGB para formar una imagen de cuatro canales. La fusión tardía ejecuta un modelo independiente para cada modalidad y combina sus predicciones mediante promedios o votaciones, lo que permite seguir funcionando si falta una modalidad. La fusión intermedia codifica cada modalidad por separado y permite que intercambien información dentro de la red, normalmente mediante atención cruzada: un mecanismo de atención en el que los tokens de una modalidad prestan atención a las características de otra. La fusión de sensores en robots y vehículos utiliza las tres estrategias.

Añadir una modalidad también puede reducir la precisión. En 2020, Weiyao Wang, Du Tran y Matt Feiszli demostraron que una red de clasificación de vídeo entrenada conjuntamente con audio, fotogramas y movimiento suele rendir peor que su mejor alternativa de una sola modalidad, porque sobreajusta y las modalidades aprenden a velocidades distintas. Su método Gradient-Blending repondera la pérdida de cada modalidad para compensarlo.

Alineación contrastiva#

El aprendizaje contrastivo alinea modalidades sin etiquetas manuales. CLIP de OpenAI (2021) entrenó un codificador de imágenes y otro de texto con 400 millones de pares de imagen y subtítulo, de modo que la representación vectorial de cada imagen fuera más similar a su propio subtítulo que a cualquier otro subtítulo del lote; el resultado igualó la precisión ImageNet del ResNet-50 original en cero disparos, sin utilizar ninguna de las 1,28 millones de imágenes de entrenamiento etiquetadas de ImageNet. La función de pérdida es la entropía cruzada aplicada a la matriz de similitud en ambas direcciones:

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Unit-length embeddings for 4 images and 4 captions; row i of each is a matching pair
image_emb = F.normalize(torch.randn(4, 64), dim=-1)
text_emb = F.normalize(image_emb + 0.5 * torch.randn(4, 64), dim=-1)


def contrastive_loss(images, texts, temperature=0.07):
    """CLIP-style symmetric cross-entropy over the image-text similarity matrix."""
    logits = images @ texts.T / temperature
    targets = torch.arange(len(images))  # the matching caption sits on the diagonal
    return (F.cross_entropy(logits, targets) + F.cross_entropy(logits.T, targets)) / 2


print(f"Aligned pairs:    {contrastive_loss(image_emb, text_emb):.3f}")
print(f"Misaligned pairs: {contrastive_loss(image_emb, text_emb.roll(1, dims=0)):.3f}")

Cuando cada subtítulo está próximo a su propia imagen, la pérdida es 0,577; si se desplazan los subtítulos una fila y se empareja cada imagen con el subtítulo equivocado, aumenta a 2,756. El entrenamiento reduce esta pérdida a lo largo de lotes con muchos pares (CLIP utilizó 32.768), lo que acerca cada imagen a su propio subtítulo y la aleja de los demás subtítulos del lote; CLIP aprende la temperatura durante el entrenamiento, a partir de 0,07. ALIGN de Google (2021) amplió el mismo método a 1.800 millones de pares ruidosos de imágenes y texto alternativo; SigLIP (2023) sustituyó la función softmax por una sigmoide independiente para cada par; e ImageBind de Meta (2023) alineó seis modalidades —incluidos el audio, la profundidad, los datos térmicos y los datos de sensores de movimiento— emparejando cada una de ellas con imágenes.

Los detectores de vocabulario abierto aprenden el mismo tipo de alineación entre texto y regiones de imagen. La receta de Ultralytics para entrenar YOLOE-26, un YOLO26 de vocabulario abierto basado en YOLOE de la Universidad de Tsinghua, combina desde cero las etiquetas de detección de Objects365 con datos de localización de GQA y Flickr30k, unos 1,4 millones de muestras. El entrenador codifica una vez cada nombre de clase y frase con el codificador de texto MobileCLIP2 congelado de Apple y almacena en caché las incrustaciones, de modo que el entrenamiento solo actualiza el detector, incluida una pequeña capa residual que refina esos vectores de texto almacenados antes de emparejarlos con las características de región.

Aprendizaje multimodal y términos relacionados#

• IA multimodal: Sistemas y aplicaciones creados con aprendizaje multimodal, como asistentes visuales y sistemas de percepción para la asistencia a la conducción.
• Modelo multimodal: Modelo entrenado para trabajar con varias modalidades; es el artefacto que produce el aprendizaje multimodal.
• Modelo de visión y lenguaje (VLM): Un modelo multimodal para imágenes y texto, que suele entrenarse por etapas: preentrenamiento contrastivo, conexión del codificador de imágenes a un modelo de lenguaje y, después, ajuste con instrucciones visuales.
• Aprendizaje por transferencia: Reutiliza para otra tarea un modelo entrenado en una tarea y el aprendizaje conjunto aplica la idea a distintas modalidades.