Interactive Segmentation

Interaktive Segmentierung ist ein hochgradig kollaborativer Ansatz für Computer Vision, bei dem ein menschlicher Benutzer kontinuierliche oder einmalige Eingaben – wie Klicks, Bounding Boxes oder Texteingaben – bereitstellt, um ein KI-Modell bei der Isolierung spezifischer Objekte innerhalb eines Bildes zu steuern. Im Gegensatz zu vollautomatisierten Methoden ermöglicht diese Human-in-the-Loop-Technik es Benutzern, genau zu definieren, was segmentiert werden soll. Dies ist besonders wertvoll bei mehrdeutigen visuellen Daten, sich überschneidenden Objekten oder unbekannten Klassen. In den letzten Jahren hat die Einführung grundlegender Modelle die Geschwindigkeit und Genauigkeit dieses Prozesses drastisch verbessert und ihn zu einem unverzichtbaren Werkzeug für die Datenannotation und Präzisionsbildgebung gemacht.

Link to this sectionWie interaktive Segmentierung funktioniert#

Im Kern basiert der Workflow auf promptable concept segmentation, bei der das Modell die Benutzerführung interpretiert, um eine pixelgenaue Maske zu erzeugen. Ein Benutzer könnte einen "positiven" Klick auf das Vordergrundobjekt setzen, das er auswählen möchte, und einen "negativen" Klick auf Hintergrundbereiche, die er ausschließen möchte. Fortgeschrittene Modelle wie das Segment Anything Model (SAM) und seine Nachfolger, Meta SAM 3, gehen noch weiter, indem sie diverse Gestentypen [1], Bounding Boxes und sogar Textbeschreibungen akzeptieren, um die visuelle Suche zu verankern. Das Modell berechnet basierend auf diesen Prompts die optimale Begrenzung, und der Benutzer kann die Maske durch zusätzliche Klicks iterativ verfeinern, bis die gewünschte Genauigkeit erreicht ist.

Link to this sectionPraxisanwendungen#

Die interaktive Segmentierung verändert Arbeitsabläufe in zahlreichen Branchen, indem sie menschliche Expertise mit KI-Effizienz verbindet.

• Medizinische Bildgebung: Im Bereich KI im Gesundheitswesen nutzen Ärzte und Radiologen interaktive Werkzeuge, um Tumore, Läsionen oder spezifische Organe in MRT- und CT-Scans zu isolieren. Die Forschung zu räumlicher Modellierung für medizinische Bilder [2] zeigt, dass interaktive Klicks es medizinischem Fachpersonal ermöglichen, KI-Vorhersagen schnell zu korrigieren, was die für die Patientendiagnose erforderliche strikte Präzision gewährleistet.
• Geospatiale und satellitengestützte Kartierung: Stadtplaner und Umweltwissenschaftler nutzen interaktive Modelle, um die GIS-Merkmalsextraktion [3] zu beschleunigen. Anstatt komplexe Küstenlinien, landwirtschaftliche Grenzen oder neue Infrastrukturen manuell nachzuzeichnen, können Analysten einige strategische Klicks setzen, um sofort genaue geografische Polygone zu generieren.
• Industrielle Fehlererkennung: Für KI in der Fertigung können Qualitätsingenieure interaktive Prompts verwenden, um mikroskopische Fehler in Produktionslinien hervorzuheben und das System dynamisch an neue Arten von Fehlern anzupassen, ohne das gesamte Modell neu trainieren zu müssen.

Link to this sectionInteraktive Segmentierung vs. Instanzsegmentierung#

Obwohl beide Konzepte das Trennen von Objekten auf Pixelebene beinhalten, dienen sie unterschiedlichen betrieblichen Zwecken. Instanzsegmentierung ist typischerweise ein vollautomatisierter Prozess, bei dem ein Modell, wie Ultralytics YOLO26, vordefinierte Klassen (z. B. "Auto", "Person", "Hund") ohne Benutzereingriff erkennt und umreißt. Du kannst in unserem Leitfaden zur Instanzsegmentierung mehr darüber erfahren, wie dies funktioniert.

Im Gegensatz dazu verlässt sich die interaktive Segmentierung nicht strikt auf vordefinierte Klassen. Sie ist klassenunabhängig, was bedeutet, dass sie alles segmentiert, worauf der Benutzer zeigt. Dies macht sie hervorragend geeignet für aktives Lernen-Pipelines, in denen neue Objekte schnell annotiert und mithilfe von Werkzeugen wie der Ultralytics Platform zu benutzerdefinierten Datensätzen hinzugefügt werden müssen.

Link to this sectionBeispiel mit Ultralytics#

Du kannst interaktive Segmentierung ganz einfach in deinen eigenen Projekten mit PyTorch und dem ultralytics Python-Paket implementieren. In diesem Beispiel verwenden wir FastSAM, um ein spezifisches Objekt durch die Bereitstellung eines Bounding-Box-Prompts zu segmentieren.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Dieser Codeausschnitt demonstriert, wie ein einfacher räumlicher Prompt das Modell direkt anleitet, die Region von Interesse zu isolieren, wodurch komplexe Aufgaben der Bildsegmentierung mit minimalem Codeaufwand optimiert werden.