Panoptic Segmentation

La segmentation panoptique est une tâche de vision par ordinateur qui attribue deux valeurs à chaque pixel d’une image : une étiquette de classe et, pour les pixels appartenant à un objet dénombrable, un identifiant d’instance. Elle combine la segmentation sémantique, qui attribue une classe à chaque pixel mais regroupe les objets de même classe, et la segmentation d’instances, qui sépare les objets individuels mais laisse l’arrière-plan sans étiquette. Le résultat est une carte unique et sans chevauchement de toute la scène, où la route, le ciel et l’herbe sont étiquetés en tant que régions et où chaque voiture et chaque personne constitue son propre segment. Alexander Kirillov et ses collègues de Facebook AI Research et de l’université de Heidelberg ont défini la tâche et sa métrique dans l’article Panoptic Segmentation, publié à CVPR 2019, en choisissant ce terme d’après sa définition : tout ce qui est visible dans un même champ de vision.

Régions amorphes et objets dénombrables#

La segmentation panoptique répartit les classes en deux catégories :

• Objets dénombrables : objets ayant une forme définie, comme les personnes, les voitures, les animaux et les sacs à main. Chacun reçoit son propre identifiant d’instance ; deux personnes côte à côte forment donc deux segments.
• Régions amorphes : régions de texture ou de matière similaires, comme la route, le ciel, l’herbe, l’eau et les murs. Tous les pixels d’une classe de région amorphe forment un seul segment, car diviser le ciel en instances n’a aucun sens.

Le benchmark panoptique COCO utilise 133 classes, dont 80 d’objets dénombrables et 53 de régions amorphes, et le benchmark de conduite Cityscapes évalue 19 classes, dont 8 d’objets dénombrables et 11 de régions amorphes. Les pixels ambigus ou n’appartenant à aucune classe sont marqués comme vides et ignorés pendant l’évaluation. Le format panoptique COCO stocke chaque image sous forme de fichier PNG, dans lequel chaque segment possède un identifiant unique, ainsi qu’un fichier JSON associant chaque identifiant à sa catégorie.

Fonctionnement des modèles panoptiques#

Les premiers systèmes exécutaient une branche sémantique et une branche d’instances sur un réseau de base partagé, puis fusionnaient leurs sorties selon des règles fixes. Panoptic FPN, par exemple, résout les chevauchements entre instances selon leur niveau de confiance, donne la priorité aux instances sur les régions amorphes, puis supprime les régions amorphes dont la surface est inférieure à un seuil :

Les modèles ascendants comme Panoptic-DeepLab prédisent une carte sémantique, ainsi que le centre de chaque objet et un décalage entre chaque pixel et son centre, puis regroupent les pixels des objets dénombrables selon le centre qu’ils indiquent. Les modèles universels utilisent une seule architecture de classification de masques pour la segmentation sémantique, d’instances et panoptique. Mask2Former prédit un ensemble fixe de requêtes, chacune produisant un masque et une classe, qui couvrent aussi bien les objets dénombrables que les régions amorphes ; le modèle a atteint 57.8 PQ sur la segmentation panoptique COCO dans son article CVPR 2022. Le pipeline Hugging Face Transformers ci-dessous exécute un point de contrôle Mask2Former entraîné sur la segmentation panoptique COCO :

import numpy as np
from transformers import pipeline

# Load Mask2Former trained on COCO panoptic: 80 thing and 53 stuff classes
segmenter = pipeline("image-segmentation", model="facebook/mask2former-swin-tiny-coco-panoptic")

# Each returned segment is one non-overlapping region with a class label and a binary mask
segments = segmenter("https://ultralytics.com/images/bus.jpg", subtask="panoptic")

for segment in segments:
    share = np.array(segment["mask"]).mean() / 255
    print(f"{segment['label']}: {share:.1%} of pixels")

La sortie répertorie 10 segments. Les quatre personnes, les deux sacs à main et le bus (30.7 % de l’image) apparaissent chacun comme des segments d’objets dénombrables distincts, à côté d’un segment de région amorphe pour chacun des éléments suivants : chaussée regroupée (30.9 %), autres bâtiments regroupés (19.5 %) et arbres regroupés (4.8 %). Le suffixe « -merged » indique des classes de régions amorphes de COCO obtenues en regroupant des étiquettes plus fines. Aucun pixel n’appartient à deux segments, et les 0.4 % de pixels qui ne sont attribués à aucun segment sont vides.

Qualité panoptique (PQ)#

Les prédictions panoptiques sont évaluées avec la qualité panoptique. Un segment prédit correspond à un segment de référence de même classe lorsque leur intersection sur union (IoU) dépasse 0.5 ; les segments ne se chevauchant pas, chacun peut avoir au plus une correspondance. Les correspondances sont des vrais positifs (TP), les prédictions sans correspondance sont des faux positifs (FP), et les segments de référence sans correspondance sont des faux négatifs (FN). PQ correspond à la somme des IoU de toutes les correspondances divisée par TP + ½FP + ½FN, ce qui la décompose en deux parties :

• Qualité de segmentation (SQ) : IoU moyen des segments appariés, qui mesure la qualité d’ajustement des masques.
• Qualité de reconnaissance (RQ) : TP / (TP + ½FP + ½FN), le score F1 de la détection de segments.

PQ est calculée pour chaque classe, puis moyennée ; les benchmarks la rapportent aussi séparément pour les objets dénombrables et les régions amorphes.

Segmentation panoptique, sémantique et d’instances#

• Segmentation sémantique : répond à la question « à quelle classe appartient ce pixel ? » pour chaque pixel. Trois voitures côte à côte forment une seule région de voitures.
• Segmentation d’instances : répond à la question « à quel objet appartient ce pixel ? » uniquement pour les objets détectés. Les pixels d’arrière-plan ne reçoivent aucune étiquette, et les masques de différents objets peuvent se chevaucher.
• Segmentation panoptique : répond aux deux questions pour chaque pixel, avec exactement un segment par pixel.

Ultralytics YOLO26 propose les deux volets sous forme de tâches distinctes : les modèles -seg renvoient un masque et une classe pour chaque objet, et les modèles de segmentation sémantique -sem renvoient une classe pour chaque pixel. Ils sont préentraînés sur les 19 classes de Cityscapes ou les 150 classes d’ADE20K.

Applications concrètes#

• Véhicules autonomes : une seule sortie représente la route praticable et les trottoirs comme régions amorphes, et chaque piéton et véhicule comme un objet distinct qu’un système de suivi peut suivre.
• Robotique : un robot mobile a besoin d’une carte cohérente indiquant le sol sur lequel il peut se déplacer et chaque objet qu’il peut ramasser ou doit éviter.
• Analyse d’images médicales : l’analyse numérique des tissus segmente les régions tissulaires comme des régions amorphes et dénombre les noyaux et cellules individuels comme des objets distincts.
• 3D et vidéo : la segmentation panoptique vidéo conserve des identifiants d’instance cohérents d’une image à l’autre, et la segmentation panoptique LiDAR, évaluée sur SemanticKITTI et nuScenes, attribue une classe et un identifiant d’instance à chaque point 3D d’un balayage.