Vision Language Model (VLM)
Un modèle vision-langage (VLM) traite conjointement les images et le texte pour générer des légendes, répondre à des questions et trouver des objets par leur nom. Architectures et exemples.
Un modèle vision-langage (VLM) est un réseau neuronal qui traite des images, et souvent des vidéos, avec du texte. Selon sa conception, il évalue la correspondance entre une image et une légende, rédige un texte sur une image ou repère les objets désignés par un prompt. Les VLM répondent à des questions comme « Combien de personnes attendent à l’arrêt de bus ? », convertissent des graphiques et des reçus en données structurées et localisent des objets décrits en langage libre. Ils associent la perception visuelle des modèles de vision par ordinateur, qui prédisent des classes dans une liste fixe, au langage ouvert des grands modèles de langage (LLMs).
Fonctionnement des modèles vision-langage#
Tout VLM a besoin d’un encodeur visuel, généralement un Vision Transformer (ViT), qui transforme une image en embeddings, et d’un moyen de mettre ces embeddings en relation avec le texte. Trois architectures sont courantes :
- Encodeurs doubles : CLIP et SigLIP encodent séparément les images et le texte dans un espace d’embeddings partagé, en s’entraînant par apprentissage contrastif sur des centaines de millions, voire des milliards, de paires image-légende. Ils mesurent la similarité au lieu de générer du texte, ce qui en fait les outils de référence pour la classification sans exemple et la recherche d’images.
- VLM génératifs : un encodeur visuel préentraîné, souvent issu de CLIP ou de SigLIP, alimente un projecteur qui convertit ses embeddings de patches en « tokens visuels » dans l’espace d’entrée du LLM. Le LLM les lit avec le prompt textuel et rédige la réponse. LLaVA-1.5 fonctionne ainsi : son encodeur CLIP ViT-L/14 divise une image de 336×336 en une grille de patches de 24×24, produisant 576 tokens visuels. Flamingo de DeepMind suit une autre approche en insérant des couches d’attention croisée dans un LLM figé, afin que les tokens de texte puissent prêter attention aux caractéristiques de l’image.
- Détecteurs à vocabulaire ouvert : des modèles comme Grounding DINO, YOLO-World et YOLOE comparent les régions d’image aux embeddings textuels pour renvoyer des boîtes ou des masques correspondant à n’importe quel objet nommé, une tâche appelée ancrage. Certains VLM génératifs ancrent eux aussi les objets : ils écrivent les coordonnées des boîtes sous forme de texte ou de tokens de localisation spéciaux.
Dans l’architecture générative, le LLM rédige sa réponse un token à la fois, en prêtant attention aux tokens visuels et au prompt à chaque étape :
Les VLM génératifs sont généralement entraînés en plusieurs étapes. Le projecteur apprend d’abord à aligner les tokens visuels sur les embeddings du LLM à partir de paires image-légende, tandis que l’encodeur et le LLM restent figés. Le réglage visuel par instructions affine ensuite le modèle sur des conversations portant sur des images, et le réglage par préférences, comme le RLHF, réduit les réponses qui décrivent des éléments absents de l’image.
Les détecteurs à vocabulaire ouvert appliquent la même mise en correspondance textuelle à la détection en temps réel. YOLOE, présenté par des chercheurs de l’université Tsinghua et disponible dans le package Ultralytics sous le nom de YOLOE-26 sur l’architecture YOLO26, transforme les noms de classes en embeddings avec l’encodeur de texte MobileCLIP2 d’Apple et les compare aux régions d’image. Il renvoie des boîtes et des masques d’instances pour des catégories pour lesquelles il n’a jamais été entraîné à produire des étiquettes. Les prompts ci-dessous comprennent des lunettes de soleil, qui ne font pas partie des 80 classes de COCO détectées par les modèles YOLO à classes fermées :
from ultralytics import YOLOE
# Charger un modèle YOLOE-26 de détection et de segmentation à vocabulaire ouvert
model = YOLOE("yoloe-26s-seg.pt")
# Nommer les classes en langage courant ; l’encodeur de texte transforme chacune en embedding
model.set_classes(["person", "glasses", "bus"])
# Détecter et segmenter uniquement les classes indiquées dans le prompt
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")La liste affichée contient le bus, quatre personnes et les lunettes portées par deux d’entre elles, et modifier la liste de mots change les objets détectés par le modèle sans aucun réentraînement.
Applications concrètes#
- Réponse aux questions visuelles : les outils d’inspection, de vente au détail et d’assistance interrogent un VLM sur une photo, par exemple pour savoir si un rayon est entièrement approvisionné ou quel voyant d’alerte est allumé sur une image de tableau de bord.
- Compréhension de documents : les VLM lisent directement les factures, formulaires, tableaux et graphiques à partir d’images de pages et renvoient des champs structurés, remplaçant souvent une étape distincte d’OCR.
- Légendage d’images et accessibilité : les descriptions générées fournissent un texte alternatif aux lecteurs d’écran et des métadonnées consultables pour les bibliothèques de photos.
- Robotique : les modèles vision-langage-action, comme RT-2 de Google DeepMind, étendent un VLM pour produire des actions de robot. Un robot peut ainsi suivre des instructions comme « ramasse la canette vide ».
- Étiquetage des données : les détecteurs à vocabulaire ouvert proposent des boîtes et des masques pour de nouvelles classes à partir d’instructions textuelles, offrant ainsi aux annotateurs un point de départ au lieu d’une image vierge. Ultralytics Platform annote automatiquement les jeux de données de détection avec ces détecteurs et des VLM génératifs avant l’entraînement d’un modèle YOLO26 sur les étiquettes.
VLM et termes associés#
- LLM : modèle qui traite uniquement du texte. De nombreux VLM génératifs sont des LLM auxquels est associé un encodeur visuel ; ils héritent de son raisonnement, de ses connaissances et de sa tendance à inventer des informations.
- IA multimodale : catégorie plus large de modèles qui combinent différents types de données. Un modèle associant l’audio au texte ou le radar aux images d’une caméra est multimodal sans être un VLM.
- Détection d’objets : un détecteur à classes fermées ne prédit que les classes sur lesquelles il a été entraîné et ne reçoit aucune entrée textuelle. Les détecteurs à vocabulaire ouvert sont les VLM qui prennent le relais lorsque les classes sont nommées au moment de l’inférence. Le classement VLM compare la précision avec laquelle les détecteurs à vocabulaire ouvert et les VLM génératifs détectent les objets dans des jeux de données du monde réel.
Limites#
Les VLM hallucinent : un modèle de légendage peut mentionner une fourchette sur une table qui n’en contient aucune, parce que le modèle de langage complète une phrase vraisemblable. Le raisonnement spatial précis, le décompte de grands groupes et la lecture de petits caractères sont d’autres points faibles, et chaque image consomme des centaines, voire des milliers, de tokens de la fenêtre de contexte du LLM. Le benchmark POPE mesure les hallucinations d’objets en posant au modèle des questions comme « Y a-t-il une voiture dans l’image ? ». Les objets absents sont tirés au hasard, parmi les objets les plus fréquents du jeu de données ou parmi ceux qui apparaissent souvent avec les objets présents.










