Visual Prompting

Le visual prompting est une technique émergente en computer vision où les utilisateurs fournissent des indices spatiaux ou visuels — tels que des points, des bounding boxes ou des gribouillis — pour guider l'attention d'un modèle d'IA vers des objets ou des régions spécifiques d'une image. Contrairement au prompt engineering traditionnel qui repose principalement sur des descriptions textuelles, le visual prompting permet une interaction plus précise et intuitive avec les systèmes d'Artificial Intelligence (AI). Cette méthode exploite les capacités des foundation models modernes pour effectuer des tâches telles que la segmentation et la detection sans nécessiter de réentraînement approfondi ni de grands jeux de données étiquetés. En « pointant » efficacement ce qui compte, tu peux adapter des modèles polyvalents à de nouvelles tâches instantanément, comblant ainsi le fossé entre l'intention humaine et la perception de la machine.

Mécanismes du Visual Prompting#

At its core, visual prompting works by injecting spatial information directly into the model's processing pipeline. When a user clicks on an object or draws a box, these inputs are converted into coordinate-based embeddings that the neural network integrates with the image features. This process is central to interactive architectures like the Segment Anything Model (SAM), where the model predicts masks based on geometric prompts.

La flexibilité du visual prompting permet divers types d'interactions :

• Prompts par points : Un utilisateur clique sur un pixel spécifique pour indiquer l'objet d'intérêt. Le modèle étend ensuite cette sélection aux limites complètes de l'objet.
• Box Prompts : Dessiner une bounding box fournit une localisation grossière, signalant au modèle de segmenter ou de classifier tout ce qui est contenu dans cette zone.
• Prompts par gribouillage : Des lignes à main levée dessinées sur un objet peuvent aider à lever l'ambiguïté dans des scènes complexes où les objets se chevauchent ou ont des textures similaires.

Des recherches récentes présentées à CVPR 2024 mettent en évidence la façon dont le visual prompting réduit considérablement le temps requis pour l'data annotation, car les annotateurs humains peuvent corriger les prédictions du modèle en temps réel avec de simples clics plutôt que de tracer manuellement des polygones.

Visual Prompting vs Text Prompting#

Bien que les deux techniques visent à guider le comportement du modèle, il est important de distinguer le visual prompting des méthodes basées sur le texte. La génération Text-to-image ou la détection zero-shot repose sur le natural language processing (NLP) pour interpréter des descriptions sémantiques (par exemple, « trouve la voiture rouge »). Cependant, le langage peut être ambigu ou insuffisant pour décrire des emplacements spatiaux précis ou des formes abstraites.

Le visual prompting résout cette ambigüité en ancrant l'instruction dans l'espace des pixels lui-même. Par exemple, en medical image analysis, il est beaucoup plus précis pour un radiologue de cliquer sur un nodule suspect que d'essayer de décrire ses coordonnées exactes et sa forme irrégulière par du texte. Souvent, les flux de travail les plus puissants combinent les deux approches — en utilisant le texte pour le filtrage sémantique et les invites visuelles pour la précision spatiale —, un concept connu sous le nom de multi-modal learning.

Applications concrètes#

L'adaptabilité du visual prompting a conduit à son adoption rapide dans diverses industries :

• Diagnostic médical interactif : Les médecins utilisent des outils de visual prompting pour isoler des tumeurs ou des organes dans des scans IRM. En cliquant simplement sur une région d'intérêt, ils peuvent générer instantanément des mesures volumétriques 3D, facilitant la tumor detection précise et la planification chirurgicale.
• Retouche photo intelligente : Dans les logiciels grand public comme Adobe Photoshop ou les applications mobiles, le visual prompting alimente les outils de « sélection magique ». Les utilisateurs peuvent toucher une personne ou un objet pour supprimer l'arrière-plan ou appliquer des filtres ciblés, en utilisant les technologies sous-jacentes d'instance segmentation sans avoir besoin de compétences en masquage manuel.
• Manipulation robotique : Dans l'AI in Robotics, les robots peuvent recevoir l'instruction de ramasser des objets spécifiques via une interface visuelle. Un opérateur clique sur un objet dans le flux de la caméra du robot, fournissant une invite visuelle que le robot traduit en coordonnées de préhension, facilitant l'automatisation human-in-the-loop dans les entrepôts.

Implémentation avec Ultralytics#

L'écosystème Ultralytics prend en charge les flux de travail de visual prompting, notamment via des modèles comme FastSAM et SAM. Ces modèles permettent aux développeurs de transmettre des coordonnées de points ou de boîtes par programmation pour récupérer des masques de segmentation.

L'exemple suivant montre comment utiliser le paquet ultralytics pour appliquer une invite de point à une image, donnant pour instruction au modèle de segmenter l'objet situé à des coordonnées spécifiques.

from ultralytics import SAM

# Load the Segment Anything Model (SAM)
model = SAM("sam2.1_b.pt")

# Apply a visual point prompt to the image
# The 'points' argument accepts [x, y] coordinates
# labels: 1 indicates a foreground point (include), 0 indicates background
results = model("https://ultralytics.com/images/bus.jpg", points=[[300, 350]], labels=[1])

# Display the segmented result
results[0].show()

Faire progresser l'agilité des modèles#

Le visual prompting représente un changement vers une computer vision « incitable », où les modèles ne sont plus des « boîtes noires » statiques mais des outils interactifs. Cette capacité est essentielle pour les boucles d'active learning, où les modèles s'améliorent rapidement en intégrant les commentaires des utilisateurs.

Pour les développeurs qui cherchent à intégrer ces capacités en production, la Ultralytics Platform offre des outils pour gérer des jeux de données et déployer des modèles capables de traiter des entrées dynamiques. À mesure que la recherche progresse, nous nous attendons à voir une intégration encore plus étroite entre les invites visuelles et les large language models (LLMs), permettant des systèmes capables de raisonner sur des entrées visuelles avec la même aisance qu'ils gèrent actuellement le texte.