Interactive Segmentation

La segmentation interactive est une approche hautement collaborative de la vision par ordinateur, dans laquelle un utilisateur humain fournit des indications continues ou ponctuelles — comme des clics, des boîtes englobantes ou des invites textuelles — pour guider un modèle d’IA dans l’isolement d’objets spécifiques au sein d’une image. Contrairement aux méthodes entièrement automatisées, cette technique avec intervention humaine permet aux utilisateurs de définir précisément ce qui doit être segmenté, ce qui la rend particulièrement utile lorsqu’il s’agit de données visuelles ambiguës, d’objets qui se chevauchent ou de classes inédites. Ces dernières années, l’introduction de modèles fondamentaux a considérablement amélioré la vitesse et la précision de ce processus, le transformant en un outil essentiel pour l’annotation de données et l’imagerie de précision.

Fonctionnement de la segmentation interactive#

À la base, le flux de travail repose sur la segmentation de concepts guidée par des invites, dans laquelle le modèle interprète les indications de l’utilisateur pour générer un masque précis au pixel près. Un utilisateur peut placer un clic « positif » sur l’objet au premier plan qu’il souhaite sélectionner et un clic « négatif » sur les zones d’arrière-plan qu’il souhaite exclure. Des modèles avancés comme le modèle Segment Anything (SAM) et ses successeurs, Meta SAM 3, vont plus loin en acceptant des types de gestes variés [1], des boîtes englobantes et même des descriptions textuelles pour ancrer la recherche visuelle. Le modèle calcule la limite optimale à partir de ces invites, et l’utilisateur peut affiner progressivement le masque à l’aide de clics supplémentaires jusqu’à obtenir la précision souhaitée.

Applications concrètes#

La segmentation interactive transforme les flux de travail dans de nombreux secteurs en combinant l’expertise humaine et l’efficacité de l’IA.

• Imagerie médicale : Dans le domaine de l’IA appliquée à la santé, les médecins et les radiologues utilisent des outils interactifs pour isoler des tumeurs, des lésions ou des organes spécifiques sur des examens IRM et tomodensitométriques. Les recherches sur la modélisation spatiale des images médicales [2] montrent que les clics interactifs permettent aux professionnels de santé de corriger rapidement les prédictions de l’IA, garantissant la précision rigoureuse requise pour le diagnostic des patients.
• Cartographie géospatiale et satellitaire : Les urbanistes et les scientifiques de l’environnement utilisent des modèles interactifs pour accélérer l’extraction d’entités SIG [3]. Au lieu de tracer manuellement des lignes côtières complexes, des limites agricoles ou de nouvelles infrastructures, les analystes peuvent placer quelques clics stratégiques pour générer instantanément des polygones géographiques précis.
• Détection des défauts industriels : Pour l’IA appliquée à la fabrication, les ingénieurs du contrôle qualité peuvent utiliser des invites interactives pour mettre en évidence des défauts microscopiques sur les lignes de production, en adaptant dynamiquement le système à de nouveaux types de défauts sans réentraîner l’intégralité du modèle.

Segmentation interactive et segmentation d’instances#

Bien que les deux concepts consistent à séparer les objets au niveau des pixels, ils répondent à des objectifs opérationnels différents. La segmentation d’instances est généralement un processus entièrement automatisé dans lequel un modèle, comme Ultralytics YOLO26, détecte et délimite des classes prédéfinies (par exemple, « voiture », « personne » ou « chien ») sans intervention de l’utilisateur. Tu peux en apprendre davantage sur son fonctionnement dans notre guide sur la segmentation d’instances.

À l’inverse, la segmentation interactive ne repose pas strictement sur des classes prédéfinies. Elle est indépendante des classes, ce qui signifie qu’elle segmente tout ce que l’utilisateur indique, ce qui en fait une solution particulièrement adaptée aux pipelines d’apprentissage actif où de nouveaux objets doivent être rapidement annotés et ajoutés à des jeux de données personnalisés à l’aide d’outils comme l’Ultralytics Platform.

Exemple avec Ultralytics#

Tu peux facilement mettre en œuvre la segmentation interactive dans tes propres projets à l’aide de PyTorch et du package Python ultralytics. Dans cet exemple, nous utilisons FastSAM pour segmenter un objet spécifique en fournissant une invite sous forme de boîte englobante.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Cet extrait montre comment une simple invite spatiale guide directement le modèle pour isoler la région d’intérêt, ce qui simplifie les tâches complexes de segmentation d’images avec un minimum de code.