Image Segmentation

La segmentation d’images est une tâche de vision par ordinateur qui consiste à diviser une image en régions en étiquetant ses pixels. Elle produit un ensemble de masques qui indiquent précisément quels pixels appartiennent à quelle classe ou à quel objet. Contrairement à la détection d’objets, qui localise chaque objet à l’aide d’une boîte englobante rectangulaire contenant également l’arrière-plan, la segmentation suit le véritable contour de chaque objet ou région ; elle est bien plus détaillée que la classification d’images, qui attribue une seule étiquette à l’image entière. Cette précision est importante dès que la surface, le contour ou le contact entre objets guide une décision, qu’il s’agisse de mesurer une tumeur ou de repérer l’espace libre devant une voiture.

Types de segmentation d’images#

Les tâches de segmentation diffèrent selon la signification de l’étiquette attribuée à un pixel. En vision par ordinateur, on distingue les « objets », éléments dénombrables comme les personnes et les voitures, des « régions », zones informes comme la route, l’herbe et le ciel.

• Segmentation sémantique : attribue une classe à chaque pixel, couvrant aussi bien les objets que les régions, et fusionne tous les objets d’une classe dans une seule région.
• Segmentation d’instances : détecte chaque objet dénombrable et lui attribue son propre masque et son propre ID, afin que deux personnes qui se touchent restent distinctes ; les pixels d’arrière-plan ne sont pas étiquetés.
• Segmentation panoptique : attribue une classe à chaque pixel et ajoute un ID d’instance aux pixels des objets dénombrables, réunissant ainsi les deux autres approches.
• Segmentation interactive : renvoie un masque correspondant à ce que désigne le clic, le cadre ou l’invite textuelle de l’utilisateur, comme le font les modèles guidés par invite tels que Segment Anything Model (SAM).

Les trois premiers types répondent à des questions différentes, ce qui permet de les choisir selon une courte démarche :

Fonctionnement des modèles de segmentation#

Les méthodes classiques regroupent les pixels selon des indices de bas niveau tels que l’intensité, la couleur et les contours : seuillage avec la méthode d’Otsu, croissance de régions, transformation par ligne de partage des eaux, regroupement des couleurs par k-moyennes et coupes de graphe. OpenCV en implémente plusieurs, qui restent utiles sur des images propres et contrôlées, comme des pièces rétroéclairées sur un convoyeur ; ces méthodes regroupent les pixels sans savoir ce que représente chaque groupe.

Les modèles d’apprentissage profond apprennent à la fois les contours et la signification des régions à partir de masques annotés. Les réseaux encodeur-décodeur comme U-Net réduisent la résolution d’une image pour en saisir le contexte, puis la rétablissent à sa résolution d’origine afin de produire des prédictions pixel par pixel. Les modèles d’instances comme Mask R-CNN et les modèles de segmentation YOLO ajoutent une tête de masque à un détecteur d’objets, tandis que les modèles Transformer comme Mask2Former gèrent la segmentation sémantique, d’instances et panoptique avec une seule architecture. Les modèles fondamentaux guidés par invite ont étendu la segmentation à des objets quelconques : SAM est arrivé en 2023 après un entraînement sur 1,1 milliard de masques issus de 11 millions d’images, SAM 2 a ajouté la vidéo en 2024, puis SAM 3 a suivi en novembre 2025, en segmentant chaque instance d’un concept nommé dans une invite textuelle. Comme les étiquettes de segmentation sont des polygones ou des masques pixel par pixel, bien plus longs à dessiner que des boîtes, ces modèles guidés par invite permettent désormais de préparer de nombreux masques d’entraînement à partir d’un seul clic.

Le type de tâche détermine aussi la forme de la sortie. Ultralytics YOLO26 est disponible en deux familles de modèles distinctes : -seg pour la segmentation d’instances et -sem pour la segmentation sémantique. L’exécution des deux sur la même photo met en évidence la différence :

from ultralytics import YOLO

# Charger un modèle de segmentation d’instances et un modèle de segmentation sémantique
instance_model = YOLO("yolo26n-seg.pt")
semantic_model = YOLO("yolo26n-sem.pt")

# Segmenter la même image de rue avec les deux modèles
image = "https://ultralytics.com/images/bus.jpg"
instance_results = instance_model(image)
semantic_results = semantic_model(image)

# Sortie d’instances : un masque binaire par objet détecté, de forme (objets, hauteur, largeur)
print(instance_results[0].masks.data.shape)

# Sortie sémantique : une carte de classes pour l’image entière, de forme (hauteur, largeur)
print(semantic_results[0].semantic_mask.data.shape)

La première dimension de la sortie d’instances correspond au nombre d’objets détectés, ce qui permet de les compter. Chaque type de sortie a sa propre métrique : la précision moyenne (mAP) des masques pour la segmentation d’instances, l’intersection sur l’union moyenne (IoU) pour la segmentation sémantique et la qualité panoptique (PQ) pour la segmentation panoptique.

Applications concrètes#

• Analyse d’images médicales : les outils radiologiques délimitent les organes, les tumeurs et les lésions sur les scans CT et IRM afin d’en mesurer le volume et de planifier une chirurgie ou une radiothérapie.
• Conduite autonome : les systèmes de perception segmentent la route, le trottoir, les véhicules et les piétons dans chaque image afin de repérer les zones praticables.
• Analyse d’images satellite : les cartes d’occupation des sols classent chaque pixel comme eau, forêt, terre agricole ou bâtiment afin de suivre les changements au fil du temps.
• Retouche photo et vidéo : la suppression d’arrière-plan, le flou en mode portrait et le remplacement du ciel reposent sur des masques de personnes et de ciel calculés sur l’appareil.
• Robotique et fabrication : les robots utilisent des masques d’objets pour calculer les points de préhension sur des pièces irrégulières, et les systèmes d’inspection mesurent précisément la surface des défauts comme les rayures et les fissures.