Instance Segmentation

Instanzsegmentierung ist eine Aufgabe der maschinellen Bildverarbeitung, bei der jedes Objekt in einem Bild gefunden, einer Klasse zugeordnet und mit einer eigenen Maske auf Pixelebene umrissen wird. Sie verbindet die objektbezogene Erkennung der Objekterkennung mit der Pixelgenauigkeit der Bildsegmentierung: Während ein Detektor einen rechteckigen Begrenzungsrahmen zeichnet, der auch Hintergrund umfasst, markiert ein Instanzsegmentierungsmodell genau, welche Pixel zu welchem Objekt gehören. Zwei Schulter an Schulter stehende Personen erhalten zwei separate Masken und zwei Labels. Dadurch lassen sich Objekte zählen, vermessen und einzeln freistellen.

Instanz-, semantische und panoptische Segmentierung#

Die Instanzsegmentierung ist eine von drei Segmentierungsaufgaben, die sich darin unterscheiden, was ein Label bezeichnet:

• Semantische Segmentierung: Weist jedem Pixel eine Klasse zu und fasst alle Objekte dieser Klasse zu einer Region zusammen. Drei geparkte Autos werden so zu einem einzigen Bereich „Auto“. Auch Hintergrundbereiche wie Straße und Himmel werden markiert.
• Instanzsegmentierung: Weist jedem zählbaren Objekt, also jedem „Ding“, eine eigene Maske und ID zu. Die drei Autos werden so zu Auto 1, Auto 2 und Auto 3. Pixel, die zu keinem erkannten Objekt gehören, bleiben unbeschriftet.
• Panoptische Segmentierung: Weist jedem Pixel eine Klasse und zählbaren Objekten zusätzlich eine Instanz-ID zu und vereint beide Ansichten in einer einzigen Ausgabe.

Promptbare Modelle wie Metas Segment Anything Model (SAM) führen eine interaktive Segmentierung durch: Sie geben eine Maske für das Objekt zurück, auf das ein Klick, ein Rahmen oder eine Textanweisung verweist, ohne auf eine feste Klassenliste beschränkt zu sein.

So funktionieren Instanzsegmentierungsmodelle#

Zweistufige Modelle erkennen zuerst Objekte und segmentieren sie anschließend. Mask R-CNN, das seit 2017 etablierte Referenzmodell, schlägt mögliche Regionen vor, klassifiziert und verfeinert jeden Rahmen und sagt innerhalb jedes Rahmens mit einem separaten Maskenzweig eine kleine Maske mit 28×28 Pixeln voraus.

Einstufige Modelle sagen Rahmen und Masken in einem einzigen Durchlauf voraus und eignen sich daher für die Echtzeitinferenz. YOLACT führte das Prototypendesign ein, das auch YOLO-Segmentierungsmodelle verwenden: Das Netz sagt einen gemeinsamen Satz von Prototypmasken für das gesamte Bild sowie für jedes erkannte Objekt einen kurzen Vektor mit Maskenkoeffizienten voraus. Die Maske jedes Objekts ergibt sich aus der gewichteten Summe der Prototypen, wird auf den zugehörigen Rahmen zugeschnitten und zu einer Binärmaske mit einem Schwellenwert versehen.

Transformer-basierte Modelle wie Mask2Former verfolgen einen dritten Ansatz: Sie sagen eine feste Anzahl von Maskenabfragen voraus und verwenden dieselbe Architektur für semantische, Instanz- und panoptische Segmentierung.

Masken, Polygone und Metriken#

Trainingslabels sind üblicherweise Polygone, die um jedes Objekt gezeichnet und in Formaten wie COCO-JSON oder YOLO-Textdateien gespeichert werden. Pro Objekt enthalten sie eine Klassen-ID und eine Liste normalisierter Eckpunkte. Bei der Inferenz geben Modelle jede Instanz als Binärmaske aus, die zur Speicherung oder Darstellung wieder in einen Polygonumriss umgewandelt werden kann. Die Genauigkeit wird als maskenbasierte mittlere durchschnittliche Präzision (mAP) angegeben. Sie wird wie die mAP für Begrenzungsrahmen berechnet, wobei jedoch die Schnittmenge über Vereinigung (IoU) zwischen den vorhergesagten und den tatsächlichen Masken gemessen wird. Das Zeichnen eines Polygons um jedes Objekt dauert viel länger als das Zeichnen eines Rahmens. Daher werden promptbare Modelle wie SAM häufig verwendet, um mit einem einzigen Klick eine vorläufige Maske zu erstellen, die anschließend von einer annotierenden Person korrigiert wird.

Die Segmentierungsmodelle Ultralytics YOLO26, erkennbar am Suffix -seg, verwenden das Prototypendesign mit 32 Prototypen und 32 Koeffizienten pro Erkennung. Sie geben jede Instanz mit Klasse, Rahmen, Maske und Polygonumriss zurück:

from ultralytics import YOLO

# Load a YOLO26 instance segmentation model pretrained on the 80 COCO classes
model = YOLO("yolo26n-seg.pt")

# Segment every object instance in the image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Each instance has its own class and mask outline, even when classes repeat
for class_id, polygon in zip(result.boxes.cls.int().tolist(), result.masks.xy):
    print(f"{result.names[class_id]}: outline with {len(polygon)} points")

result.save(filename="instance_segmentation.jpg")

Jede erkannte Person wird als eigene Zeile mit einer eigenen Kontur ausgegeben. Im gespeicherten Bild wird die Maske jeder Instanz separat eingefärbt. Wie du deine eigenen Daten labelst und ein Modell trainierst, erfährst du unter YOLO26 für die Instanzsegmentierung selbst trainieren oder in der Lektion Instanzsegmentierung labeln und trainieren der Ultralytics Academy.

Anwendungen in der Praxis#

Instanzmasken sind überall dort wichtig, wo die genaue Form oder Anzahl einzelner Objekte für eine Entscheidung ausschlaggebend ist:

• Robotergestütztes Greifen: Ein Roboterarm, der Teile aus einer überfüllten Kiste greift, benötigt den exakten Umriss jedes Teils, um einen Greifpunkt mit genügend Abstand zu den benachbarten Teilen zu wählen.
• Zellbiologie: Mikroskopie-Pipelines segmentieren einzelne Zellen und Zellkerne, auch wenn sie sich berühren, um sie zu zählen und ihre Größe und Form zu messen.
• Landwirtschaft: Ernteroboter und Ertragsschätzer trennen einzelne Früchte in dicht bewachsenen Baumkronen, um sie zu zählen und ihre Größe anhand der Maskenfläche zu schätzen.
• Objektverfolgung in Videos: Durch die Kombination von Instanzmasken und einem Tracker bleibt die exakte Silhouette jedes Objekts von Bild zu Bild erhalten.
• Autonome Fahrzeuge: Fahrdatensätze wie Cityscapes enthalten Instanzlabels für acht Personen- und Fahrzeugklassen, sodass Wahrnehmungsmodelle jeden Fußgänger in einer Menschenmenge einzeln erfassen können.