Grounding

L’ancrage consiste à relier des mots ou d’autres symboles aux éléments auxquels ils font référence, afin que le langage d’un système d’IA soit lié à des preuves qu’il peut désigner. En vision par ordinateur, l’ancrage visuel consiste à localiser la région d’une image ou d’une vidéo décrite par une expression : à partir de « l’homme au manteau beige », un modèle avec ancrage renvoie une boîte englobante ou un masque autour de cet homme. Dans les grands modèles de langage (LLMs), l’ancrage consiste à relier le texte généré à des documents récupérés, à des résultats de recherche ou aux sorties d’outils, afin de pouvoir remonter à la source des affirmations. Ces deux sens font écho au problème de l’ancrage des symboles posé en 1990 par le spécialiste des sciences cognitives Stevan Harnad : comment les symboles manipulés par un système peuvent-ils avoir un sens pour ce système, et pas seulement pour les personnes qui les lisent ?

Tâches d’ancrage visuel#

• Ancrage de syntagmes : localiser chaque objet mentionné dans une phrase, comme « une femme » et « son chien » dans une légende.
• Compréhension des expressions référentielles : trouver l’objet unique désigné par une expression, comme « la deuxième voiture en partant de la gauche ». Les benchmarks RefCOCO, RefCOCO+ et RefCOCOg rassemblent de telles expressions pour les images COCO ; RefCOCO+ interdit les mots de localisation comme « gauche », de sorte que les expressions doivent décrire l’apparence.
• Détection à vocabulaire ouvert : trouver chaque instance des catégories nommées dans le texte au moment de l’inférence, au-delà de la liste de classes fixe d’un modèle de détection d’objets à ensemble fermé.
• Légendes et réponses ancrées : un modèle vision-langage (VLM) rédige une description ou une réponse et associe une boîte à chaque objet mentionné.
• Ancrage temporel et 3D : trouver le moment d’une vidéo décrit par une phrase, ou l’objet dans un scan 3D d’une pièce.

Fonctionnement des modèles d’ancrage#

Un modèle d’ancrage encode le texte et l’image, évalue chaque région candidate de l’image par rapport à chaque expression et conserve les régions dont les scores dépassent un seuil. L’entraînement aligne les deux espaces de plongement, souvent à l’aide de l’apprentissage contrastif sur des paires image-texte, afin que le plongement de « sac à dos bleu » se rapproche des caractéristiques de sacs à dos bleus. Les modèles plus performants fusionnent également les modalités dès le début grâce à l’attention croisée, ce qui permet aux mots d’orienter le calcul des caractéristiques visuelles par le réseau.

GLIP a reformulé la détection d’objets comme un ancrage de phrases, permettant ainsi d’entraîner un modèle unique sur des données de détection et d’ancrage ; Grounding DINO, qu’Ultralytics Platform héberge pour l’annotation automatique, accepte les noms de catégories ou les expressions référentielles et a atteint 52,5 AP sur COCO sans aucune donnée d’entraînement COCO. Le SAM 3 de Meta, lancé en novembre 2025 et hébergé sur Platform sous le nom de SAM 3 Text, segmente et suit chaque instance d’une courte expression nominale, comme « autobus scolaire jaune », dans des images et des vidéos. Les VLM génératifs ancrent les éléments en écrivant des coordonnées de boîte sous forme de texte ou de tokens de position spéciaux dans leurs réponses. Le classement VLM compare la précision avec laquelle les détecteurs à vocabulaire ouvert et les VLM génératifs ancrent les noms de classes des jeux de données de détection du monde réel.

YOLOE, présenté par des chercheurs de l’Université Tsinghua et disponible dans le package Ultralytics sous le nom de YOLOE-26 sur l’architecture YOLO26, ancre des noms de catégories et de courtes expressions en temps réel : un encodeur de texte transforme chaque expression en plongement, puis la tête de détection le compare à chaque région de l’image :

from ultralytics import YOLOE

# Charger un modèle YOLOE-26 de détection et de segmentation à vocabulaire ouvert
model = YOLOE("yoloe-26s-seg.pt")

# Chaque expression est encodée une fois par l’encodeur de texte et devient une classe que le modèle peut trouver
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Afficher chaque expression ancrée avec sa boîte en pixels (x1, y1, x2, y2)
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

Chaque ligne affichée associe l’une des expressions à la région à laquelle YOLOE l’a ancrée ; une expression sans correspondance dans l’image n’affiche rien.

Applications#

• Robotique : un robot auquel on demande de « prendre la tasse rouge à côté de l’ordinateur portable » doit ancrer cette expression à un objet et à sa position 3D avant de planifier sa prise.
• Annotation des données : les détecteurs à vocabulaire ouvert proposent des boîtes et des masques pour de nouvelles classes à partir d’une liste de noms ; les annotateurs les corrigent ensuite au lieu de tout tracer à partir de zéro. Ultralytics Platform annote automatiquement les jeux de données de détection de cette manière avant l’entraînement d’un modèle YOLO26 sur les étiquettes corrigées.
• Recherche vidéo : l’ancrage temporel retrouve le clip où « un cycliste tourne à gauche à l’intersection » parmi des heures de séquences.
• Accessibilité : les applications d’assistance répondent à « où se trouve le panneau de sortie ? » en localisant l’objet, et pas seulement en le nommant.

Ancrage et termes associés#

• Légendage d’image : Associe une image à du texte. L’ancrage fait le chemin inverse, du texte vers les régions de l’image qu’il décrit.
• Réponse visuelle aux questions (VQA) : Répond en mots à une question sur une image. La VQA ancrée indique aussi les éléments qui justifient la réponse.
• Apprentissage sans exemple (zero-shot) : Reconnaît des classes sans exemples d’entraînement. L’ancrage à vocabulaire ouvert est un moyen d’y parvenir, car une classe décrite avec des mots n’a pas besoin d’images annotées.
• IA multimodale : Domaine plus vaste des modèles qui combinent différents types de données ; l’ancrage consiste à aligner des mots précis sur des éléments précis de l’autre modalité.

L’ancrage dans les modèles de langage#

Un LLM qui répond uniquement à partir de sa mémoire peut produire des affirmations éloquentes sans source, ce qui constitue l’une des causes des hallucinations. La génération ancrée fournit des éléments probants au moment de l’inférence, par la génération augmentée par récupération (RAG), la recherche sur le Web, les requêtes de base de données ou les appels d’outils, et demande au modèle de répondre à partir de ces éléments et de les citer. Une réponse ancrée peut être vérifiée affirmation par affirmation à l’aide de ses sources, et les évaluations des systèmes ancrés mesurent la fidélité — c’est-à-dire si chaque énoncé est étayé par le texte récupéré — séparément de l’exactitude du texte récupéré.