Panoptic Segmentation

Panoptische Segmentierung ist eine Aufgabe der Computer Vision, bei der jedem Pixel eines Bildes zwei Werte zugewiesen werden: eine Klassenbezeichnung und – bei Pixeln, die zu einem zählbaren Objekt gehören – eine Instanz-ID. Sie kombiniert die semantische Segmentierung, bei der jedes Pixel einer Klasse zugeordnet, Objekte derselben Klasse aber zusammengefasst werden, mit der Instanzsegmentierung, die einzelne Objekte trennt, den Hintergrund jedoch unbeschriftet lässt. Das Ergebnis ist eine einzige, überlappungsfreie Karte der gesamten Szene. Straße, Himmel und Gras werden als Bereiche gekennzeichnet, jedes Auto und jede Person bildet ein eigenes Segment. Alexander Kirillov und seine Kolleginnen und Kollegen bei Facebook AI Research und der Universität Heidelberg definierten die Aufgabe und ihre Metrik in der auf der CVPR 2019 veröffentlichten Arbeit Panoptic Segmentation. Die Bezeichnung wählten sie passend zur Definition: Alles Sichtbare aus einer einzigen Ansicht einbeziehen.

Flächen und Objekte#

Bei der panoptischen Segmentierung werden Klassen in zwei Arten eingeteilt:

• Objekte: Zählbare Gegenstände mit einer klar definierten Form, etwa Menschen, Autos, Tiere und Handtaschen. Jedes Objekt erhält eine eigene Instanz-ID. So werden zwei nebeneinander stehende Personen zu zwei Segmenten.
• Flächen: Formlose Bereiche mit ähnlicher Textur oder ähnlichem Material, etwa Straße, Himmel, Gras, Wasser und Wände. Alle Pixel einer Flächenklasse bilden ein Segment, denn es ergibt keinen Sinn, einen Himmel in einzelne Instanzen aufzuteilen.

Der panoptische COCO-Benchmark verwendet 133 Klassen: 80 Objektklassen und 53 Flächenklassen. Der Fahr- und Verkehrsbenchmark Cityscapes bewertet 19 Klassen: 8 Objektklassen und 11 Flächenklassen. Mehrdeutige Pixel oder Pixel außerhalb aller Klassen werden als ungültig markiert und bei der Auswertung ignoriert. Im panoptischen COCO-Format wird jedes Bild als PNG gespeichert, in dem jedes Segment eine eindeutige ID hat. Eine JSON-Datei ordnet jeder ID ihre Kategorie zu.

So funktionieren panoptische Modelle#

Frühe Systeme führten einen semantischen Zweig und einen Instanzzweig auf einem gemeinsamen Backbone aus und führten ihre Ausgaben anhand fester Regeln zusammen. Panoptic FPN löst beispielsweise Überschneidungen zwischen Instanzen anhand der Konfidenz auf, gibt Instanzen gegenüber Flächen den Vorrang und entfernt anschließend Flächenregionen, die kleiner als ein festgelegter Grenzwert sind:

Bottom-up-Modelle wie Panoptic-DeepLab sagen eine semantische Karte sowie den Mittelpunkt jedes Objekts und den Versatz jedes Pixels zu diesem Mittelpunkt voraus. Anschließend gruppieren sie Pixel von Objekten anhand des Mittelpunkts, auf den diese Pixel verweisen. Universelle Modelle verwenden für semantische, Instanz- und panoptische Segmentierung dieselbe Architektur zur Maskenklassifizierung. Mask2Former sagt eine feste Anzahl von Abfragen voraus, die jeweils eine Maske und eine Klasse erzeugen. So deckt das Modell sowohl Objekte als auch Flächen ab und erzielte in der CVPR-Arbeit von 2022 einen PQ-Wert von 57.8 bei der panoptischen Segmentierung auf COCO. Die folgende Pipeline von Hugging Face Transformers führt einen auf der panoptischen COCO-Aufgabe trainierten Mask2Former-Checkpoint aus:

import numpy as np
from transformers import pipeline

# Load Mask2Former trained on COCO panoptic: 80 thing and 53 stuff classes
segmenter = pipeline("image-segmentation", model="facebook/mask2former-swin-tiny-coco-panoptic")

# Each returned segment is one non-overlapping region with a class label and a binary mask
segments = segmenter("https://ultralytics.com/images/bus.jpg", subtask="panoptic")

for segment in segments:
    share = np.array(segment["mask"]).mean() / 255
    print(f"{segment['label']}: {share:.1%} of pixels")

Die Ausgabe listet 10 Segmente auf. Die vier Personen, zwei Handtaschen und der Bus (30.7 % des Bildes) erscheinen jeweils als separate Objektsegmente. Daneben gibt es je ein Flächensegment für den zusammengefassten Gehweg (30.9 %), das zusammengefasste sonstige Gebäude (19.5 %) und den zusammengefassten Baum (4.8 %). Das Suffix „-merged“ kennzeichnet COCO-Flächenklassen, die durch das Zusammenfassen feinerer Bezeichnungen entstanden sind. Kein Pixel gehört zu zwei Segmenten; die 0.4 % der Pixel, die keinem Segment zugeordnet sind, gelten als ungültig.

Panoptische Qualität (PQ)#

Panoptische Vorhersagen werden anhand der panoptischen Qualität bewertet. Ein vorhergesagtes Segment wird einem Referenzsegment derselben Klasse zugeordnet, wenn ihre Schnittmenge über Vereinigungsmenge (IoU) größer als 0.5 ist. Da sich Segmente nicht überlappen, kann jedes Segment höchstens eine Zuordnung haben. Zuordnungen sind richtig positive Ergebnisse (TP), nicht zugeordnete Vorhersagen sind falsch positive Ergebnisse (FP) und nicht zugeordnete Referenzsegmente sind falsch negative Ergebnisse (FN). PQ ist die Summe der IoUs aller Zuordnungen geteilt durch TP + ½FP + ½FN. Die Metrik setzt sich aus zwei Teilen zusammen:

• Segmentierungsqualität (SQ): Der durchschnittliche IoU-Wert der zugeordneten Segmente, der angibt, wie gut die Masken passen.
• Erkennungsqualität (RQ): TP / (TP + ½FP + ½FN), der F1-Wert der Segmenterkennung.

PQ wird pro Klasse berechnet und anschließend gemittelt. In Benchmarks wird der Wert außerdem getrennt für Objekte und Flächen angegeben.

Panoptische, semantische und Instanzsegmentierung#

• Semantische Segmentierung: Beantwortet für jedes Pixel die Frage: „Zu welcher Klasse gehört dieses Pixel?“ Drei nebeneinander stehende Autos bilden eine einzige Autoregion.
• Instanzsegmentierung: Beantwortet nur für erkannte Objekte die Frage: „Zu welchem Objekt gehört dieses Pixel?“ Hintergrundpixel erhalten keine Bezeichnung, und die Masken verschiedener Objekte können sich überlappen.
• Panoptische Segmentierung: Beantwortet beide Fragen für jedes Pixel und weist jedem Pixel genau ein Segment zu.

Ultralytics YOLO26 bietet die beiden Teilaufgaben als separate Aufgaben an: Modelle vom Typ -seg liefern eine Maske und eine Klasse für jedes Objekt. -sem-Modelle zur semantischen Segmentierung liefern eine Klasse für jedes Pixel und sind auf den 19 Cityscapes-Klassen oder den 150 ADE20K-Klassen vortrainiert.

Anwendungen in der Praxis#

• Autonome Fahrzeuge: Eine einzige Ausgabe kennzeichnet befahrbare Straßen und Gehwege als Flächen sowie alle Fußgänger und Fahrzeuge als einzelne Objekte, die ein Tracker verfolgen kann.
• Robotik: Eine mobile Roboterplattform benötigt eine einheitliche Karte, auf der sowohl die befahrbare Fläche als auch jedes Objekt verzeichnet ist, das sie aufnehmen oder meiden kann.
• Medizinische Bildanalyse: In der digitalen Pathologie werden Gewebebereiche als Flächen segmentiert und einzelne Zellkerne und Zellen als Objekte gezählt.
• 3D und Video: Bei der panoptischen Videosegmentierung bleiben Instanz-IDs über die Bilder hinweg konsistent. Bei der panoptischen LiDAR-Segmentierung, die anhand von SemanticKITTI und nuScenes bewertet wird, erhält jeder 3D-Punkt eines Scans eine Klasse und eine Instanz-ID.