Interactive Segmentation

Interaktive Segmentierung ist ein stark kollaborativer Ansatz für Computer Vision, bei dem ein menschlicher Benutzer fortlaufende oder einmalige Eingaben – etwa Klicks, Begrenzungsrahmen oder Textaufforderungen – bereitstellt, um ein KI-Modell dabei zu unterstützen, bestimmte Objekte innerhalb eines Bildes zu isolieren. Im Gegensatz zu vollständig automatisierten Methoden ermöglicht diese Human-in-the-Loop-Technik den Benutzern, genau festzulegen, was segmentiert werden soll. Dadurch ist sie besonders wertvoll bei mehrdeutigen visuellen Daten, sich überschneidenden Objekten oder unbekannten Klassen. In den vergangenen Jahren hat die Einführung von Grundlagenmodellen die Geschwindigkeit und Genauigkeit dieses Prozesses drastisch verbessert und ihn zu einem wichtigen Werkzeug für die Datenannotation und Präzisionsbildgebung gemacht.

Funktionsweise der interaktiven Segmentierung#

Im Kern basiert der Arbeitsablauf auf der promptgesteuerten Konzeptsegmentierung, bei der das Modell die Anleitung des Benutzers interpretiert, um eine pixelgenaue Maske zu erzeugen. Ein Benutzer kann einen „positiven“ Klick auf das auszuwählende Vordergrundobjekt setzen und einen „negativen“ Klick auf Hintergrundbereiche, die ausgeschlossen werden sollen. Fortschrittliche Modelle wie das Modell zur Segmentierung beliebiger Objekte (SAM) und seine Nachfolger, Meta SAM 3, gehen noch weiter, indem sie verschiedene Gestentypen [1], Begrenzungsrahmen und sogar Textbeschreibungen akzeptieren, um die visuelle Suche zu steuern. Das Modell berechnet anhand dieser Eingaben die optimale Begrenzung, und der Benutzer kann die Maske mit zusätzlichen Klicks schrittweise verfeinern, bis die gewünschte Genauigkeit erreicht ist.

Anwendungen in der Praxis#

Interaktive Segmentierung verändert Arbeitsabläufe in zahlreichen Branchen, indem sie menschliche Expertise mit der Effizienz von KI verbindet.

• Medizinische Bildgebung: Im Bereich der KI im Gesundheitswesen verwenden Ärzte und Radiologen interaktive Werkzeuge, um Tumore, Läsionen oder bestimmte Organe in MRT- und CT-Aufnahmen zu isolieren. Untersuchungen zur räumlichen Modellierung medizinischer Bilder [2] zeigen, dass interaktive Klicks medizinischem Fachpersonal ermöglichen, KI-Prognosen schnell zu korrigieren und so die für die Patientendiagnose erforderliche hohe Präzision sicherzustellen.
• Geodaten und Satellitenkartierung: Stadtplaner und Umweltwissenschaftler verwenden interaktive Modelle, um die Extraktion von GIS-Merkmalen [3] zu beschleunigen. Anstatt komplexe Küstenlinien, landwirtschaftliche Grenzen oder neue Infrastrukturen manuell nachzuzeichnen, können Analysten einige gezielte Klicks setzen und sofort präzise geografische Polygone erzeugen.
• Erkennung industrieller Defekte: Im Bereich der KI in der Fertigung können Qualitätsingenieure interaktive Eingaben verwenden, um mikroskopisch kleine Fehler in Produktionslinien hervorzuheben und das System dynamisch an neue Fehlertypen anzupassen, ohne das gesamte Modell neu zu trainieren.

Interaktive Segmentierung im Vergleich zur Instanzsegmentierung#

Obwohl beide Konzepte Objekte auf Pixelebene voneinander trennen, dienen sie unterschiedlichen praktischen Zwecken. Die Instanzsegmentierung ist typischerweise ein vollständig automatisierter Prozess, bei dem ein Modell wie Ultralytics YOLO26 vordefinierte Klassen (z. B. „Auto“, „Person“, „Hund“) ohne Benutzereingriff erkennt und umreißt. In unserem Leitfaden zur Instanzsegmentierung erfährst du mehr darüber, wie dies funktioniert.

Die interaktive Segmentierung ist hingegen nicht strikt auf vordefinierte Klassen angewiesen. Sie ist klassenunabhängig, d. h., sie segmentiert alles, worauf der Benutzer zeigt. Dadurch eignet sie sich hervorragend für Active-Learning-Pipelines, in denen neue Objekte mithilfe von Werkzeugen wie der Ultralytics Platform schnell annotiert und benutzerdefinierten Datensätzen hinzugefügt werden müssen.

Beispiel mit Ultralytics#

Mit PyTorch und dem ultralytics Python-Paket kannst du interaktive Segmentierung problemlos in deinen eigenen Projekten einsetzen. In diesem Beispiel verwenden wir FastSAM, um ein bestimmtes Objekt anhand einer Eingabe in Form eines Begrenzungsrahmens zu segmentieren.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Dieses Codebeispiel zeigt, wie eine einfache räumliche Eingabe das Modell direkt dazu anleitet, den relevanten Bereich zu isolieren, und so komplexe Aufgaben der Bildsegmentierung mit minimalem Code vereinfacht.