Image Segmentation

Bei der Bildsegmentierung wird ein Bild als Aufgabe der Computer Vision in Bereiche unterteilt, indem seine Pixel beschriftet werden. Das Ergebnis besteht aus Masken, die genau zeigen, welche Pixel zu welcher Klasse oder welchem Objekt gehören. Im Gegensatz zur Objekterkennung, bei der jedes Objekt mit einer rechteckigen Begrenzungsbox lokalisiert wird, die auch den Hintergrund einschließt, zeichnet die Segmentierung den tatsächlichen Umriss jedes Objekts oder Bereichs nach. Sie ist deutlich genauer als die Bildklassifizierung, bei der dem gesamten Bild ein einziges Label zugewiesen wird. Diese Präzision ist immer dann wichtig, wenn Fläche, Umriss oder Kontakt zwischen Objekten für eine Entscheidung ausschlaggebend sind – etwa beim Vermessen eines Tumors oder beim Ermitteln des freien Bereichs vor einem Auto.

Arten der Bildsegmentierung#

Segmentierungsaufgaben unterscheiden sich darin, was eine Pixelbezeichnung bedeutet. In der Computervision wird zwischen „Dingen“, also zählbaren Objekten wie Personen und Autos, und „Stoffen“, also amorphen Bereichen wie Straßen, Gras und Himmel, unterschieden.

• Semantische Segmentierung: Weist jedem Pixel eine Klasse zu, erfasst sowohl Dinge als auch Stoffe und führt alle Objekte derselben Klasse zu einem Bereich zusammen.
• Instanzsegmentierung: Erkennt jedes zählbare Objekt und versieht es mit einer eigenen Maske und ID, sodass zwei einander berührende Personen getrennt bleiben; Hintergrundpixel bleiben unbeschriftet.
• Panoptische Segmentierung: Weist jedem Pixel eine Klasse zu und versieht Pixel zählbarer Objekte zusätzlich mit einer Instanz-ID, wodurch die beiden anderen Ansätze vereint werden.
• Interaktive Segmentierung: Gibt eine Maske für das zurück, worauf ein Nutzer mit einem Klick, einem Rahmen oder einer Textaufforderung verweist, wie es promptfähige Modelle wie das Segment Anything Model (SAM) tun.

Die ersten drei beantworten unterschiedliche Fragen. Dadurch lässt sich schnell entscheiden, welche davon die richtige ist:

So funktionieren Segmentierungsmodelle#

Klassische Methoden gruppieren Pixel anhand einfacher Merkmale wie Intensität, Farbe und Kanten: Schwellwertverfahren mit der Methode von Otsu, Region Growing, die Watershed-Transformation, k-Means-Farbgruppierung und Graph Cuts. OpenCV implementiert mehrere dieser Methoden. Sie eignen sich weiterhin für klare, kontrollierte Bilder, etwa von hinten beleuchtete Teile auf einem Förderband; sie gruppieren Pixel, ohne zu wissen, was die einzelnen Gruppen darstellen.

Deep-Learning- Modelle lernen anhand beschrifteter Masken sowohl die Grenzen als auch die Bedeutung von Bereichen. Encoder-Decoder-Netzwerke wie U-Net verkleinern ein Bild, um den Kontext zu erfassen, und vergrößern es anschließend wieder auf die volle Auflösung, um Vorhersagen für jedes Pixel zu erzeugen. Instanzmodelle wie Mask R-CNN und YOLO-Segmentierungsmodelle ergänzen einen Objektdetektor um einen Maskenkopf, und Transformer-Modelle wie Mask2Former bewältigen semantische, Instanz- und panoptische Segmentierung mit einer einzigen Architektur. Promptfähige Grundlagenmodelle haben die Segmentierung auf beliebige Objekte erweitert: SAM erschien 2023, nachdem es mit 1,1 Milliarden Masken aus 11 Millionen Bildern trainiert worden war, SAM 2 ergänzte 2024 die Videofunktion, und SAM 3 folgte im November 2025 und segmentiert jede Instanz eines in einer Textaufforderung genannten Konzepts. Da Segmentierungsbezeichnungen Polygone oder Masken auf Pixelebene sind, deren Zeichnen deutlich länger dauert als bei Boxen, erstellen diese promptfähigen Modelle inzwischen mit einem einzigen Klick Entwürfe für zahlreiche Trainingsmasken.

Der Aufgabentyp bestimmt auch die Form der Ausgabe. Ultralytics YOLO26 ist in zwei getrennten Modellfamilien verfügbar: -seg für Instanz- und -sem für semantische Segmentierung. Werden beide auf demselben Foto ausgeführt, wird der Unterschied deutlich:

from ultralytics import YOLO

# Ein Modell für die Instanzsegmentierung und eines für die semantische Segmentierung laden
instance_model = YOLO("yolo26n-seg.pt")
semantic_model = YOLO("yolo26n-sem.pt")

# Dasselbe Straßenbild mit beiden segmentieren
image = "https://ultralytics.com/images/bus.jpg"
instance_results = instance_model(image)
semantic_results = semantic_model(image)

# Instanzausgabe: eine binäre Maske pro erkanntem Objekt, Form (objects, height, width)
print(instance_results[0].masks.data.shape)

# Semantische Ausgabe: eine Klassenkarte für das gesamte Bild, Form (height, width)
print(semantic_results[0].semantic_mask.data.shape)

Die erste Dimension der Instanzausgabe entspricht der Anzahl erkannter Objekte. Dadurch lassen sich Instanzergebnisse zählen. Für jeden Ausgabetyp gibt es eine eigene Metrik: Masken-mittlere durchschnittliche Genauigkeit (mAP) für die Instanzsegmentierung, mittlere Schnittmenge über Vereinigung (IoU) für die semantische Segmentierung und panoptische Qualität (PQ) für die panoptische Segmentierung.

Anwendungen in der Praxis#

• Medizinische Bildanalyse: Radiologische Werkzeuge zeichnen Organe, Tumore und Läsionen in CT- und MRT-Aufnahmen nach, um ihr Volumen zu messen und Operationen oder Strahlentherapien zu planen.
• Autonomes Fahren: Wahrnehmungssysteme segmentieren in jedem Bild Straßen, Gehwege, Fahrzeuge und Fußgänger, um befahrbare Bereiche zu erkennen.
• Satellitenbildanalyse: Landbedeckungskarten kennzeichnen jedes Pixel als Wasser, Wald, Ackerland oder Gebäude, um Veränderungen im Zeitverlauf nachzuverfolgen.
• Foto- und Videobearbeitung: Das Entfernen des Hintergrunds, der Unschärfeeffekt im Porträtmodus und der Austausch des Himmels beruhen auf Masken für Personen und Himmel, die auf dem Gerät berechnet werden.
• Robotik und Fertigung: Roboter verwenden Objektmasken, um Greifpunkte an unregelmäßigen Teilen zu berechnen, und Prüfsysteme messen die genaue Fläche von Defekten wie Kratzern und Rissen.