Interactive Segmentation

Interaktive Segmentierung ist ein hohes Maß an kollaborativem Ansatz für die computer vision, bei dem ein menschlicher Benutzer kontinuierliche oder einmalige Eingaben wie Klicks, Bounding Boxes oder Text-Prompts bereitstellt, um ein KI-Modell dabei zu leiten, spezifische Objekte in einem Bild zu isolieren. Im Gegensatz zu vollständig automatisierten Methoden ermöglicht diese Human-in-the-Loop-Technik Benutzern genau zu definieren, was segmentiert werden muss, wodurch sie besonders wertvoll im Umgang mit mehrdeutigen visuellen Daten, überlappenden Objekten oder ungesehenen Klassen ist. In den letzten Jahren hat die Einführung von Fundamentmodellen die Geschwindigkeit und Genauigkeit dieses Prozesses drastisch verbessert und ihn zu einem unverzichtbaren Werkzeug für die data annotation und Präzisionsbildgebung gemacht.

Wie interaktive Segmentierung funktioniert#

Im Kern basiert der Workflow auf der promptable concept segmentation, bei der das Modell die Benutzerführung interpretiert, um eine pixelgenaue Maske zu generieren. Ein Benutzer kann einen „positiven“ Klick auf das Vordergrundobjekt platzieren, das er auswählen möchte, und einen „negativen“ Klick auf Hintergrundbereiche, die er ausschließen möchte. Fortgeschrittene Modelle wie das Segment Anything Model (SAM) und seine Nachfolger, Meta SAM 3, gehen noch einen Schritt weiter, indem sie diverse gesture types [1], Bounding Boxes und sogar Textbeschreibungen akzeptieren, um die visuelle Suche zu verankern. Das Modell berechnet die optimale Begrenzung basierend auf diesen Prompts, und der Benutzer kann die Maske iterativ mit zusätzlichen Klicks verfeinern, bis die gewünschte Genauigkeit erreicht ist.

Praxisanwendungen#

Die interaktive Segmentierung verändert Arbeitsabläufe in zahlreichen Branchen, indem sie menschliche Expertise mit KI-Effizienz verbindet.

• Medizinische Bildgebung: In AI in healthcare verwenden Ärzte und Radiologen interaktive Werkzeuge, um Tumore, Läsionen oder spezifische Organe in MRT- und CT-Scans zu isolieren. Die Forschung zur spatial modeling for medical images [2] zeigt, dass interaktive Klicks medizinischen Fachkräften ermöglichen, KI-Vorhersagen schnell zu korrigieren, wodurch die für die Patientendiagnose erforderliche strenge Präzision sichergestellt wird.
• Geodaten und Satellitenkartierung: Stadtplaner und Umweltwissenschaftler verwenden interaktive Modelle, um die GIS feature extraction [3] zu beschleunigen. Anstatt komplexe Küstenlinien, landwirtschaftliche Grenzen oder neue Infrastrukturen manuell nachzuzeichnen, können Analysten ein paar strategische Klicks setzen, um sofort genaue geografische Polygone zu generieren.
• Industrielle Fehlererkennung: Für AI in manufacturing können Qualitätskontrolilingenieure interaktive Prompts verwenden, um mikroskopische Mängel an Produktionslinien hervorzuheben und das System dynamisch an neue Arten von Fehlern anzupassen, ohne das gesamte Modell neu zu trainieren.

Interaktive Segmentierung vs. Instanzsegmentierung#

Während beide Konzepte das Trennen von Objekten auf Pixelebene beinhalten, dienen sie unterschiedlichen operativen Zwecken. Die Instance segmentation ist typischerweise ein vollständig automatisierter Prozess, bei dem ein Modell wie Ultralytics YOLO26 vordefinierte Klassen (z. B. „Auto“, „Person“, „Hund“) ohne Benutzereingriff erkennt und umrissen darstellt. Du kannst mehr darüber erfahren, wie dies in unserem guide to instance segmentation funktioniert.

Umgekehrt ist die interaktive Segmentierung nicht streng an vordefinierte Klassen gebunden. Sie ist klassenagnostisch, was bedeutet, dass sie alles segmentiert, worauf der Benutzer zeigt, wodurch sie sich hervorragend für active learning-Pipelines eignet, in denen neue Objekte schnell annotiert und mithilfe von Werkzeugen wie der Ultralytics Platform zu benutzerdefinierten Datensätzen hinzugefügt werden müssen.

Beispiel mit Ultralytics#

Du kannst die interaktive Segmentierung ganz einfach in deinen eigenen Projekten mit PyTorch und dem Python-Paket ultralytics implementieren. In diesem Beispiel verwenden wir FastSAM, um ein spezifisches Objekt zu segmentieren, indem wir einen Bounding-Box-Prompt bereitstellen.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Dieses Snippet veranschaulicht, wie ein einfacher räumlicher Prompt das Modell direkt anleitet, die Region von Interesse zu isolieren, und komplexe image segmentation-Aufgaben mit minimalem Code optimiert.