Multi-Modal Model

Un modèle multimodal, également écrit multi-modal, est un seul modèle d’apprentissage automatique (ML) qui reçoit, et parfois produit, plusieurs types de données ou modalités : images, texte, audio, vidéo, cartes de profondeur ou mesures de capteurs. Comme il traite les modalités ensemble, il peut utiliser chacune comme contexte pour les autres : répondre à une question orale sur une photo, trouver les images vidéo décrites par une phrase ou détecter des piétons simultanément à partir de données de caméra et de radar. Un pipeline qui enchaîne des modèles unimodaux distincts, par exemple un système de reconnaissance vocale qui alimente un chatbot exclusivement textuel, ne transmet les informations entre modalités que par la sortie finale de chaque modèle, alors qu’un modèle multimodal apprend leurs relations.

Fonctionnement des modèles multimodaux#

Chaque modalité passe d’abord par un encodeur adapté, comme un Vision Transformer (ViT) pour les images ou un tokeniseur et une couche d’incorporation pour le texte, qui la convertissent en vecteurs. Le modèle fusionne ensuite ces vecteurs et prédit du texte, des étiquettes, des boîtes ou des actions à partir de la représentation combinée. L’emplacement de la fusion définit les principales familles d’architectures :

• Fusion précoce : Les entrées sont combinées avant les premières couches ou au niveau de celles-ci. Les capteurs co-enregistrés peuvent être empilés en canaux d’image supplémentaires, et Ultralytics YOLO26 prend directement en charge cette approche : définir la clé channels dans un fichier YAML de jeu de données entraîne un détecteur sur des images comportant plus de trois canaux, par exemple RGB avec des bandes thermiques ou de profondeur, enregistrées ensemble dans un fichier TIFF multicanal, comme le montre le jeu de données à 10 canaux COCO8-Multispectral.
• Fusion intermédiaire : Chaque modalité est encodée séparément, puis les caractéristiques se rejoignent au milieu, généralement par l’intermédiaire de l’attention. Flamingo, de DeepMind, insère des couches d’attention croisée dans un modèle de langage gelé afin que les jetons textuels puissent prêter attention aux caractéristiques des images. De nombreux modèles vision-langage (VLM) projettent les caractéristiques des images en « jetons visuels » qu’un grand modèle de langage (LLM) lit avec l’invite.
• Fusion tardive : Des modèles distincts produisent des prédictions qui sont combinées à la fin. Cette approche est robuste lorsqu’un capteur tombe en panne, mais ne permet pas d’apprendre les interactions entre les modalités.
• Incorporation conjointe : Les encodeurs projettent chaque modalité dans un même espace vectoriel partagé, entraîné par apprentissage contrastif afin que les paires correspondantes soient proches. CLIP aligne les images et le texte, et ImageBind de Meta étend un espace d’incorporation à six modalités — images, texte, audio, profondeur, données thermiques et données de capteurs de mouvement — en utilisant uniquement des données associées à des images.

Les données et la tâche déterminent en grande partie l’architecture la mieux adaptée :

ViLT, le Vision-and-Language Transformer, est un exemple compact de fusion précoce : il découpe une image en patches, les incorpore avec les mots d’une question, puis exécute un seul transformer sur la séquence combinée. L’exemple suivant utilise le point de contrôle ViLT affiné pour la réponse visuelle aux questions (VQA) via Hugging Face Transformers :

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one sequence for a single transformer
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

# Ask different questions about the same image; each answer is one of the model's 3,129 answer classes
for question in ["What vehicle is this?", "What color is the bus?", "How many people are there?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    answer = model.config.id2label[logits.argmax(-1).item()]
    print(f"{question} {answer}")

Le modèle répond correctement à bus et blue and white à partir de la même image et répond 3 à la question de comptage, bien que la photo montre quatre personnes, dont deux coupées par les bords de l’image ; le comptage reste une faiblesse courante des modèles vision-langage.

Types de modèles multimodaux#

• Modèles de langage et de vision : interprètent les images et le texte pour générer des légendes, répondre à des questions, lire des documents ou localiser les objets nommés dans une instruction, une tâche appelée ancrage. Les résultats du benchmark VLM comparent la précision avec laquelle ces modèles localisent des objets dans des jeux de données de détection du monde réel.
• Assistants nativement multimodaux : GPT-4o d’OpenAI, publié en 2024, a été entraîné de bout en bout sous la forme d’un seul réseau couvrant le texte, la vision et l’audio. Google a conçu ses modèles Gemini comme multimodaux dès le départ ; un même modèle peut ainsi recevoir un mélange de texte, d’images, d’audio et de vidéo dans une même instruction.
• Modèles audio-langage : combinent la parole ou les sons avec du texte pour la transcription, la traduction et les conversations orales.
• Modèles vision-langage-action : Ils étendent un VLM pour produire des commandes motrices de robot, permettant à un robot de suivre des instructions telles que « mets la pomme dans le bol ».
• Perception par fusion de capteurs : Les véhicules autonomes fusionnent les entrées des caméras, du lidar et du radar dans un seul modèle qui détecte et suit les objets en 3D.

Modèles multimodaux et termes associés#

• IA multimodale : Le domaine plus vaste de l’IA qui traite plusieurs types de données, y compris les systèmes qui enchaînent des modèles unimodaux. Un modèle multimodal est un modèle unique appartenant à ce domaine.
• Apprentissage multimodal : Les méthodes d’entraînement, telles que l’alignement contrastif et le préentraînement intermodal, qui produisent des modèles multimodaux.
• Fusion de capteurs : La combinaison de mesures provenant de plusieurs capteurs, souvent à l’aide d’estimateurs classiques comme les filtres de Kalman plutôt que d’un modèle appris.
• Modèle de fondation : Un grand modèle préentraîné pour de nombreuses tâches en aval. De nombreux modèles de fondation récents sont multimodaux, tandis que d’autres, comme les LLM exclusivement textuels, traitent une seule modalité.

Défis#

Les modèles multimodaux nécessitent de grandes quantités de données appariées, comme des images légendées ou de l’audio transcrit, et doivent gérer les modalités absentes ou bruitées au moment de l’inférence, par exemple une caméra aveuglée par l’éblouissement. Les entrées image et vidéo coûtent cher, car chaque image ajoute des centaines ou des milliers de jetons au contexte d’un LLM. Les modèles peuvent aussi privilégier la modalité la plus facile et ignorer la plus difficile : les premiers modèles de VQA répondaient souvent à partir des seuls motifs présents dans la question. Le jeu de données de référence VQA v2 associait donc chaque question à deux images similaires menant à des réponses différentes, ce qui a presque doublé le nombre de paires image-question du jeu de données.