Multi-Modal Learning

L'apprentissage multimodal est un domaine de l'apprentissage automatique qui porte sur l'entraînement de modèles avec des données provenant de plusieurs modalités, comme des images accompagnées de légendes, une vidéo avec sa bande-son ou des images de caméra associées à des balayages lidar, afin que le modèle apprenne les relations entre ces modalités. Ses méthodes répondent à deux questions : comment représenter différentes modalités pour pouvoir les comparer, et à quel endroit du modèle les combiner. Les systèmes issus de ces méthodes, des assistants vision-langage aux architectures de perception pour la conduite autonome, sont décrits comme de l'IA multimodale.

Les humains combinent leurs sens sans effort. Dans l'effet McGurk, décrit en 1976, une vidéo montrant des lèvres prononcer « ga », doublée du son « ba », est perçue comme « da ». En 2011, Jiquan Ngiam et ses collègues de Stanford ont appliqué cette idée à l'apprentissage profond : ils ont entraîné des réseaux conjointement sur l'audio et la vidéo des lèvres, et montré que les caractéristiques apprises à partir des deux modalités amélioraient la lecture labiale par rapport à la vidéo seule.

Principaux défis#

Dans leur étude de 2019, Tadas Baltrušaitis, Chaitanya Ahuja et Louis-Philippe Morency ont organisé le domaine autour de cinq défis :

• Représentation : encoder chaque modalité sous forme de vecteurs, soit dans un espace commun, soit dans des espaces distincts entraînés pour être alignés.
• Traduction : convertir une modalité en une autre, comme pour la génération de légendes d'images ou la génération d'images à partir de texte.
• Alignement : trouver quelles parties d'une modalité correspondent à quelles parties d'une autre, par exemple la région d'image décrite par une expression.
• Fusion : combiner les informations de plusieurs modalités pour produire une prédiction.
• Apprentissage conjoint : transférer des connaissances d'une modalité disposant de beaucoup de données vers une modalité qui en a peu.

Stratégies de fusion#

La fusion précoce combine les entrées ou les caractéristiques de bas niveau avant tout traitement propre à chaque modalité, par exemple en empilant une carte de profondeur avec les canaux RGB pour former une image à quatre canaux. La fusion tardive exécute un modèle distinct par modalité et regroupe les prédictions par moyenne ou par vote ; elle reste ainsi opérationnelle lorsqu'une modalité manque. La fusion intermédiaire encode séparément chaque modalité et leur permet d'échanger des informations au sein du réseau, généralement au moyen de l'attention croisée, un mécanisme d'attention où les tokens d'une modalité portent leur attention sur les caractéristiques d'une autre. La fusion de capteurs en robotique et dans les véhicules utilise les trois approches.

L'ajout d'une modalité peut aussi réduire la précision. En 2020, Weiyao Wang, Du Tran et Matt Feiszli ont montré qu'un réseau de classification vidéo entraîné conjointement sur l'audio, les images et le mouvement obtient souvent de moins bons résultats que son meilleur équivalent monomodal, parce qu'il surapprend et que les modalités apprennent à des vitesses différentes. Leur méthode Gradient-Blending rééquilibre la perte de chaque modalité pour compenser cet effet.

Alignement contrastif#

L'apprentissage contrastif aligne les modalités sans étiquettes manuelles. Le CLIP d'OpenAI (2021) a entraîné un encodeur d'images et un encodeur de texte sur 400 millions de paires image-légende, de sorte que l'plongement vectoriel de chaque image soit le plus similaire à sa propre légende parmi toutes celles du lot. Le résultat a égalé, sans apprentissage spécifique, la précision ImageNet du ResNet-50 original, évaluée en mode zero-shot, sans utiliser aucune des 1,28 million d'images d'entraînement étiquetées d'ImageNet. La fonction de perte est une entropie croisée appliquée à la matrice de similarité dans les deux sens :

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Unit-length embeddings for 4 images and 4 captions; row i of each is a matching pair
image_emb = F.normalize(torch.randn(4, 64), dim=-1)
text_emb = F.normalize(image_emb + 0.5 * torch.randn(4, 64), dim=-1)


def contrastive_loss(images, texts, temperature=0.07):
    """CLIP-style symmetric cross-entropy over the image-text similarity matrix."""
    logits = images @ texts.T / temperature
    targets = torch.arange(len(images))  # the matching caption sits on the diagonal
    return (F.cross_entropy(logits, targets) + F.cross_entropy(logits.T, targets)) / 2


print(f"Aligned pairs:    {contrastive_loss(image_emb, text_emb):.3f}")
print(f"Misaligned pairs: {contrastive_loss(image_emb, text_emb.roll(1, dims=0)):.3f}")

Lorsque chaque légende est associée à sa propre image, la perte est de 0,577. Si l'on décale les légendes d'une ligne pour associer chaque image à la mauvaise légende, elle passe à 2,756. L'entraînement réduit cette perte sur des lots de nombreuses paires (CLIP en utilisait 32 768), ce qui rapproche chaque image de sa propre légende et l'éloigne de toutes les autres légendes du lot. CLIP apprend la température pendant l'entraînement, en partant de 0,07. ALIGN de Google (2021) a étendu la même méthode à 1,8 milliard de paires image et texte alternatif bruitées ; SigLIP (2023) a remplacé le softmax par une sigmoïde indépendante pour chaque paire ; et l'ImageBind de Meta (2023) a aligné six modalités, dont l'audio, la profondeur, l'imagerie thermique et les données de capteurs de mouvement, en associant chacune à des images.

Les détecteurs à vocabulaire ouvert apprennent le même type d’alignement entre le texte et les régions de l’image. La recette Ultralytics pour entraîner YOLOE-26, un YOLO26 à vocabulaire ouvert basé sur YOLOE de l’Université Tsinghua, à partir de zéro combine les annotations de détection d’Objects365 avec les données d’ancrage de GQA et Flickr30k, soit environ 1,4 million d’échantillons ; l’entraîneur encode une fois chaque nom de classe et chaque expression avec l’encodeur textuel MobileCLIP2 gelé d’Apple et met en cache les plongements, de sorte que l’entraînement ne met à jour que le détecteur, y compris une petite couche résiduelle qui affine ces vecteurs textuels mis en cache avant leur association aux caractéristiques des régions.

Apprentissage multimodal et notions connexes#

• IA multimodale : systèmes et applications conçus à partir de l'apprentissage multimodal, comme les assistants visuels et la perception pour l'aide à la conduite.
• Modèle multimodal : modèle entraîné qui prend en charge plusieurs modalités, produit de l'apprentissage multimodal.
• Modèle vision-langage (VLM) : Un modèle multimodal pour les images et le texte, souvent entraîné par étapes : préentraînement contrastif, connexion de l’encodeur d’image à un modèle de langage, puis ajustement sur des instructions visuelles.
• Apprentissage par transfert : Réutilise pour une tâche un modèle entraîné sur une autre tâche, et l’apprentissage conjoint applique cette idée à plusieurs modalités.