Visual Prompting

Le guidage visuel consiste à indiquer à un modèle de vision par ordinateur quoi segmenter ou détecter en marquant directement l’image, par un clic, une boîte, un gribouillage, un masque ou un exemple, plutôt qu’en décrivant la cible avec des mots. Des modèles de fondation guidables comme le modèle de segmentation universelle (SAM) de Meta transforment chaque marque en représentation vectorielle et prédisent un masque pour l’objet indiqué sans aucun réentraînement. Une invite visuelle désigne une instance précise ou montre un exemple de ce qu’il faut trouver, ce qui est utile lorsque la cible est difficile à nommer dans une invite textuelle, comme un défaut particulier ou une pièce inconnue. Le réglage fin par invite visuelle porte un nom similaire, mais c’est une méthode de réglage fin des invites qui apprend des jetons d’entrée supplémentaires pendant l’ajustement fin, sans que personne ne marque l’image.

Fonctionnement du guidage visuel#

SAM, publié par Meta en 2023 avec le jeu de données SA-1B, qui comprend 1,1 milliard de masques sur 11 millions d’images, répartit le travail en trois parties. Un grand encodeur d’image, un transformeur visuel, s’exécute une fois par image ; un encodeur léger d’invites transforme les points et les boîtes en représentations vectorielles positionnelles ; enfin, un décodeur de masque combine les deux pour prédire un masque en environ 50 millisecondes dans un navigateur Web. Chaque nouveau clic met donc le résultat à jour de façon interactive. Un clic seul est ambigu, car il pourrait désigner une chemise ou la personne qui la porte ; SAM peut donc renvoyer trois masques candidats, chacun accompagné d’un score de qualité. SAM 2 de Meta (2024) étend les invites à la vidéo et suit un objet cliqué dans les images suivantes en conservant en mémoire les images précédentes. SAM 2.1 s’exécute dans le paquet Ultralytics, où un clic correspond à un point dont l’étiquette vaut 1 pour le premier plan ou 0 pour l’arrière-plan :

from ultralytics import SAM

# Charger le modèle de base SAM 2.1 de Meta
model = SAM("sam2.1_b.pt")

# Un clic au premier plan (étiquette 1) sur l’homme en manteau sombre
results = model("https://ultralytics.com/images/bus.jpg", points=[280, 600], labels=[1])
result = results[0]

# Enregistrer l’image avec le masque prédit pour l’objet cliqué
result.save(filename="sam_point_prompt.jpg")

L’image enregistrée montre le masque que SAM 2.1 prédit à partir de ce seul clic. La segmentation interactive répète cette étape jusqu’à l’obtention du masque souhaité. Le mode annotation assistée d’Ultralytics Platform fonctionne ainsi : chaque clic devient une invite ponctuelle SAM ; un clic à l’extérieur du masque actuel ajoute cette région, tandis qu’un clic à l’intérieur la supprime. Le résultat est enregistré sous forme de polygone, de boîte ou de boîte orientée, selon la tâche du jeu de données.

Types d’invites visuelles#

• Points et boîtes : les clics au premier plan et à l’arrière-plan sélectionnent des régions ou les excluent ; une boîte approximative autour d’un objet est moins ambiguë qu’un clic et permet aussi d’utiliser automatiquement les boîtes d’un détecteur comme invites pour un segmentateur.
• Masques et gribouillages : un masque grossier obtenu à l’étape précédente ou des traits dessinés sur l’objet affinent une prédiction que les clics seuls ne permettent pas de corriger.
• Boîtes d’exemple : Une boîte autour d’un exemple demande au modèle tous les objets similaires ; une seule boîte d’exemple suffit donc pour compter toutes les vis d’un même type. Les détecteurs à classes ouvertes tels que T-Rex2 et YOLOE, ainsi que SAM 3 de Meta (2025), acceptent ces invites sous forme d’exemples.
• Exemples en contexte : une image d’exemple associée à la sortie souhaitée, comme un masque ou une carte de contours, définit la tâche elle-même. Le modèle complète par analogie la sortie pour une nouvelle image.
• Marquages pour les modèles vision-langage : la méthode Set-of-Mark ajoute des marques numérotées sur les régions de l’image afin que le modèle puisse mentionner la « région 3 » dans sa réponse, ce qui améliore son ancrage visuel.

Applications concrètes#

• Annotation de données : quelques clics par objet remplacent le tracé point par point d’un polygone, réduisant ainsi le coût de création de jeux de données de segmentation d’instances.
• Imagerie médicale : MedSAM a adapté SAM à 1 570 263 paires d’images médicales et de masques couvrant 10 modalités d’imagerie ; la boîte dessinée par un médecin autour d’un organe ou d’une lésion permet ainsi d’en obtenir le contour.
• Robotique : un opérateur clique sur un objet dans l’image de la caméra d’un robot ; le masque obtenu fournit au robot les pixels exacts de l’objet pour planifier sa préhension.