Interactive Segmentation

La segmentation interactive est une approche hautement collaborative de la computer vision où un utilisateur humain fournit une entrée continue ou ponctuelle — comme des clics, des BBox ou des invites textuelles — pour guider un modèle d'IA afin d'isoler des objets spécifiques au sein d'une image. Contrairement aux méthodes entièrement automatisées, cette technique human-in-the-loop permet aux utilisateurs de définir exactement ce qui doit être segmenté, ce qui la rend particulièrement précieuse face à des données visuelles ambiguës, des objets qui se chevauchent ou des classes inédites. Au cours des dernières années, l'introduction de modèles fondamentaux a considérablement amélioré la vitesse et la précision de ce processus, en faisant un outil essentiel pour la data annotation et l'imagerie de précision.

Link to this sectionComment fonctionne la segmentation interactive#

Dans son fonctionnement, le workflow repose sur la promptable concept segmentation, où le modèle interprète les conseils de l'utilisateur pour générer un masque au niveau du pixel. Un utilisateur peut placer un clic "positif" sur l'objet au premier plan qu'il souhaite sélectionner et un clic "négatif" sur les zones d'arrière-plan qu'il souhaite exclure. Des modèles avancés comme le Segment Anything Model (SAM) et ses successeurs, Meta SAM 3, vont plus loin en acceptant des diverse gesture types [1], des BBox et même des descriptions textuelles pour ancrer la recherche visuelle. Le modèle calcule la limite optimale en fonction de ces invites, et l'utilisateur peut affiner le masque de manière itérative avec des clics supplémentaires jusqu'à obtenir la précision souhaitée.

Link to this sectionApplications concrètes#

La segmentation interactive transforme les workflows dans de nombreuses industries en combinant l'expertise humaine avec l'efficacité de l'IA.

• Imagerie médicale : Dans le cadre de l'AI in healthcare, les médecins et les radiologues utilisent des outils interactifs pour isoler des tumeurs, des lésions ou des organes spécifiques dans des IRM et des scanners CT. La recherche sur le spatial modeling for medical images [2] montre que les clics interactifs permettent aux professionnels de santé de corriger rapidement les prédictions de l'IA, garantissant ainsi la précision rigoureuse requise pour le diagnostic du patient.
• Cartographie géospatiale et satellitaire : Les urbanistes et les scientifiques de l'environnement utilisent des modèles interactifs pour accélérer le GIS feature extraction [3]. Au lieu de tracer manuellement des côtes complexes, des limites agricoles ou de nouvelles infrastructures, les analystes peuvent placer quelques clics stratégiques pour générer instantanément des polygones géographiques précis.
• Détection de défauts industriels : Pour l'AI in manufacturing, les ingénieurs en contrôle qualité peuvent utiliser des invites interactives pour mettre en évidence des défauts microscopiques sur les lignes de production, adaptant dynamiquement le système à de nouveaux types de défauts sans avoir à réentraîner l'intégralité du modèle.

Link to this sectionSegmentation interactive vs. segmentation d'instance#

Bien que les deux concepts impliquent de séparer des objets au niveau du pixel, ils servent des objectifs opérationnels différents. La instance segmentation est généralement un processus entièrement automatisé où un modèle, comme Ultralytics YOLO26, détecte et souligne des classes prédéfinies (par exemple, "voiture", "personne", "chien") sans intervention de l'utilisateur. Tu peux en apprendre davantage sur son fonctionnement dans notre guide to instance segmentation.

À l'inverse, la segmentation interactive ne repose pas strictement sur des classes prédéfinies. Elle est agnostique vis-à-vis des classes, ce qui signifie qu'elle segmente tout ce que l'utilisateur désigne, ce qui en fait un excellent choix pour les pipelines d'active learning où des objets inédits doivent être rapidement annotés et ajoutés à des datasets personnalisés en utilisant des outils comme la Ultralytics Platform.

Link to this sectionExemple utilisant Ultralytics#

Tu peux facilement implémenter la segmentation interactive dans tes propres projets en utilisant PyTorch et le package Python ultralytics. Dans cet exemple, nous utilisons FastSAM pour segmenter un objet spécifique en fournissant une invite de BBox.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Ce snippet démontre comment une simple invite spatiale guide directement le modèle pour isoler la zone d'intérêt, rationalisant ainsi les tâches complexes d'image segmentation avec un minimum de code.