Interactive Segmentation

La segmentation interactive est une approche hautement collaborative de la vision par ordinateur où un utilisateur humain fournit une entrée continue ou en un coup (clics, boîtes englobantes ou invites textuelles) pour guider un modèle d'IA dans l'isolation d'objets spécifiques au sein d'une image. Contrairement aux méthodes entièrement automatisées, cette technique avec humain dans la boucle permet aux utilisateurs de définir exactement ce qui doit être segmenté, ce qui la rend particulièrement précieuse face à des données visuelles ambigües, des objets qui se chevauchent ou des classes inédites. Au cours des dernières années, l'introduction de modèles de fondation a considérablement amélioré la vitesse et la précision de ce processus, en faisant un outil essentiel pour l'annotation de données et l'imagerie de précision.

Comment fonctionne la segmentation interactive#

À la base, le flux de travail repose sur la segmentation de concepts guidée par invite, où le modèle interprète les directives de l'utilisateur pour générer un masque parfait au niveau du pixel. Un utilisateur peut placer un clic "positif" sur l'objet de premier plan qu'il souhaite sélectionner et un clic "négatif" sur les zones d'arrière-plan qu'il souhaite exclure. Des modèles avancés comme le Segment Anything Model (SAM) et ses successeurs, Meta SAM 3, vont plus loin en acceptant divers types de gestes [1], des boîtes englobantes et même des descriptions textuelles pour ancrer la recherche visuelle. Le modèle calcule la limite optimale en fonction de ces invites, et tu peux affiner le masque de manière interactive avec des clics supplémentaires jusqu'à l'obtention de la précision souhaitée.

Applications concrètes#

La segmentation interactive transforme les workflows dans de nombreuses industries en combinant l'expertise humaine avec l'efficacité de l'IA.

• Imagerie médicale : Dans l'IA en santé, les médecins et les radiologues utilisent des outils interactifs pour isoler des tumeurs, des lésions ou des organes spécifiques dans les examens d'IRM et de tomodensitométrie. La recherche sur la modélisation spatiale pour les images médicales [2] montre que les clics interactifs permettent aux professionnels de la santé de corriger rapidement les prédictions de l'IA, garantissant ainsi la précision rigoureuse requise pour le diagnostic des patients.
• Cartographie géospatiale et satellitaire : Les urbanistes et les scientifiques environnementaux utilisent des modèles interactifs pour accélérer l'extraction de caractéristiques SIG [3]. Au lieu de tracer manuellement des côtes complexes, des limites agricoles ou de nouvelles infrastructures, les analystes peuvent placer quelques clics stratégiques pour générer instantanément des polygones géographiques précis.
• Détection de défauts industriels : Pour l'IA dans la fabrication, les ingénieurs de contrôle qualité peuvent utiliser des invites interactives pour mettre en évidence des défauts microscopiques sur les lignes de production, en adaptant dynamiquement le système à de nouveaux types de défauts sans réentraîner l'ensemble du modèle.

Segmentation interactive vs. segmentation d'instance#

Bien que les deux concepts impliquent la séparation d'objets au niveau des pixels, ils servent des objectifs opérationnels différents. La segmentation d'instances est généralement un processus entièrement automatisé où un modèle, comme Ultralytics YOLO26, détecte et délimite des classes prédéfinies (par exemple, "voiture", "personne", "chien") sans intervention de l'utilisateur. Tu peux en apprendre davantage sur son fonctionnement dans notre guide de la segmentation d'instances.

À l'inverse, la segmentation interactive ne dépend pas strictement de classes prédéfinies. Elle est agnostique par rapport aux classes, ce qui signifie qu'elle segmente tout ce que l'utilisateur pointe, ce qui en fait un choix idéal pour les pipelines d'apprentissage actif où de nouveaux objets doivent être annotés rapidement et ajoutés à des jeux de données personnalisés à l'aide d'outils tels que Ultralytics Platform.

Exemple utilisant Ultralytics#

Tu peux facilement implémenter la segmentation interactive dans tes propres projets en utilisant PyTorch et le package Python ultralytics. Dans cet exemple, nous utilisons FastSAM pour segmenter un objet spécifique en fournissant une invite de boîte englobante.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Cet extrait montre comment une simple invite spatiale guide directement le modèle pour isoler la région d'intérêt, simplifiant ainsi les tâches complexes de segmentation d'images avec un minimum de code.