Verständnis von promptable concept segmentation

Vision AI entwickelt sich rasant weiter und wird zunehmend eingesetzt, um Bilder und Videos in realen Umgebungen zu analysieren. Anwendungen, die von Verkehrsmanagement-Systemen bis hin zu Einzelhandelsanalysen reichen, werden beispielsweise in Computer-Vision-Modelle integriert.

In vielen dieser Anwendungen werden Vision-Modelle, wie etwa Objekterkennungsmodelle, darauf trainiert, eine vordefinierte Menge von Objekten zu erkennen, einschließlich Fahrzeugen, Personen und Ausrüstungen. Während des Trainings bekommen diese Modelle viele beschriftete Beispiele gezeigt, damit sie lernen können, wie jedes Objekt aussieht und wie man es von anderen in einer Szene unterscheidet.

Bei Segmentierungsaufgaben gehen die Modelle einen Schritt weiter und erstellen präzise Umrisse der Objekte auf Pixelebene. Dies ermöglicht es Systemen, genau zu verstehen, wo sich jedes Objekt in einem Bild befindet.

Das funktioniert gut, solange das System nur das erkennen muss, worauf es trainiert wurde. In realen Umgebungen ist das jedoch selten der Fall.

Visuelle Szenen sind typischerweise dynamisch. Neue Objekte und visuelle Konzepte tauchen auf, Bedingungen ändern sich und Nutzer möchten oft Objekte segmentieren, die nicht Teil der ursprünglichen Trainingskonfiguration waren.

Diese Einschränkungen sind besonders bei der Segmentierung deutlich. Da sich Vision AI ständig weiterentwickelt, wächst der Bedarf an flexibleren Segmentierungsmodellen, die sich ohne wiederholtes Retraining an neue Konzepte anpassen können. Deshalb gewinnt die promptbare Konzeptsegmentierung (PCS) zunehmend an Bedeutung.

Anstatt sich auf eine feste Liste von Objektkategorien zu verlassen, können Nutzer beschreiben, was sie segmentieren möchten, indem sie Text, visuelle Prompts oder Beispielbilder verwenden. Diese Modelle können dann alle Regionen identifizieren und segmentieren, die dem beschriebenen Konzept entsprechen, selbst wenn dieses Konzept während des Trainings nicht explizit enthalten war.

In diesem Artikel untersuchen wir, wie die promptbare Konzeptsegmentierung funktioniert, wie sie sich von traditionellen Ansätzen unterscheidet und wo sie heute eingesetzt wird.

Link to this sectionWas ist promptbare Konzeptsegmentierung?#

In den meisten Fällen werden Segmentierungsmodelle darauf trainiert, eine kurze Liste von Objekttypen zu erkennen. Das funktioniert gut, wenn ein Vision-AI-System nur eine spezifische Menge von Objekten erkennen und segmentieren muss.

In realen Anwendungen sind visuelle Szenen jedoch dynamisch. Neue Objekte erscheinen, Anforderungen ändern sich und Nutzer müssen oft Konzepte segmentieren, die nicht im ursprünglichen Label-Set enthalten waren. Die Unterstützung dieser Situationen erfordert normalerweise das Sammeln neuer, hochwertiger Daten und Annotationen sowie das Retraining des Modells, was die Kosten erhöht und die Bereitstellung verlangsamt.

Die promptbare Konzeptsegmentierung löst dieses Problem, indem sie es Nutzern ermöglicht, dem Modell mitzuteilen, wonach gesucht werden soll, anstatt aus einer festen Liste von Labels zu wählen. Nutzer beschreiben das Objekt oder die Idee, nach der sie suchen, und das Modell hebt alle übereinstimmenden Bereiche im Bild hervor. Dies macht es viel einfacher, die Absicht eines Nutzers mit den tatsächlichen Pixeln in einem Bild zu verknüpfen.

Abb. 1. Ein Blick auf die Verwendung von Konzept-Prompts zur Segmentierung (Quelle)

Link to this sectionSegmentierung durch verschiedene Arten von Prompts steuern#

Modelle, die promptbare Konzeptsegmentierung unterstützen, sind flexibel, da sie verschiedene Arten von Eingaben verarbeiten können. Mit anderen Worten: Es gibt mehr als einen Weg, dem Modell mitzuteilen, wonach es suchen soll, wie zum Beispiel durch Textbeschreibungen, visuelle Hinweise oder Beispielbilder.

Hier ist ein genauerer Blick auf die einzelnen Ansätze:

• Text-Prompts: Kurze Ausdrücke wie „Schulbus“ oder „Tumorregion“ können verwendet werden, um das zu segmentierende Konzept zu beschreiben. Das Modell interpretiert die Bedeutung der Wörter und identifiziert übereinstimmende Regionen.
• Visuelle Prompts: Diese Prompts verwenden Punkte, Boxen oder grobe Skizzen innerhalb des Bildes als Hinweise. Diese Hilfen leiten den Suchbereich und helfen dabei, die endgültige Begrenzung zu formen.
• Bildbeispiele: Referenzbilder oder kleine Ausschnitte repräsentieren das interessierende Konzept. Das Modell sucht nach visuell ähnlichen Regionen und segmentiert diese basierend auf dem visuellen Erscheinungsbild.

Link to this sectionDer Unterschied zwischen PCS und traditioneller Segmentierung#

Bevor wir uns damit befassen, wie die promptbare Konzeptsegmentierung funktioniert, vergleichen wir sie zunächst mit verschiedenen traditionellen Objektsegmentierungsmethoden.

PCS ermöglicht Modelle, die offen für neue Begriffe (open-vocabulary) und promptgesteuert sind. Sie können mit neuen, durch Prompts beschriebenen Ideen arbeiten, was bei traditioneller Segmentierung nicht möglich ist. Es gibt verschiedene Arten von traditionellen Segmentierungsansätzen, jeder mit eigenen Annahmen und Einschränkungen.

Hier ist ein kurzer Überblick über einige wichtige Arten der traditionellen Segmentierung:

• Semantische Segmentierung: Jeder Pixel im Bild wird einer Kategorie wie Straße, Gebäude oder Person zugeordnet. Alle Pixel mit demselben Label werden gruppiert, sodass das Modell einzelne Objektinstanzen nicht voneinander trennt.
• Instanzsegmentierung: Das Modell identifiziert und segmentiert einzelne Objekte, sodass zwei Personen oder zwei Autos als separate Elemente behandelt werden.
• Panoptische Segmentierung: Diese Technik kombiniert semantische und Instanzsegmentierung, um einen vollständigen Überblick über die Szene zu bieten, der sowohl Hintergrundbereiche als auch einzelne Objekte abdeckt.

All diese Ansätze verlassen sich auf eine vordefinierte Liste von Objektkategorien. Sie funktionieren innerhalb dieses Rahmens gut, können aber nicht gut mit Konzepten außerhalb davon umgehen. Wenn ein neues, spezifisches Objekt segmentiert werden soll, sind in der Regel zusätzliche Trainingsdaten und ein Fine-Tuning des Modells erforderlich.

PCS zielt darauf ab, das zu ändern. Anstatt auf vordefinierte Kategorien festgelegt zu sein, kannst du zur Zeit der Inferenz beschreiben, was in einem Bild segmentiert werden soll.

Link to this sectionDie Entwicklung von PCS-Modellen#

Als Nächstes gehen wir durch, wie sich Segmentierungsmodelle in Richtung promptbarer Konzeptsegmentierung entwickelt haben.

Ein beliebtes Basismodell, das einen Wendepunkt in der Segmentierung markierte, war SAM, oder das Segment Anything Model. Es wurde 2023 eingeführt. Anstatt sich auf vordefinierte Objektkategorien zu verlassen, erlaubte SAM Nutzern, die Segmentierung mithilfe einfacher visueller Prompts wie Punkte oder Bounding-Boxen zu steuern.

Mit SAM mussten Nutzer kein Label mehr auswählen. Sie konnten einfach angeben, wo sich ein Objekt befand, und das Modell erzeugte eine Maske dafür. Dies machte die Segmentierung flexibler, aber die Nutzer mussten dem Modell immer noch zeigen, wo es suchen sollte.

SAM 2, veröffentlicht im Jahr 2024, baute auf dieser Idee auf, indem es komplexere Szenen handhabte und die promptbare Segmentierung auf Videos erweiterte. Es verbesserte die Robustheit bei unterschiedlichen Lichtverhältnissen, Objektformen und Bewegungen, verließ sich aber immer noch hauptsächlich auf visuelle Prompts, um die Segmentierung zu leiten.

Das Modell SAM 3 ist der neueste Schritt in dieser Entwicklung. Es wurde letztes Jahr veröffentlicht und ist ein einheitliches Modell, das visuelles Verständnis mit sprachlicher Anleitung kombiniert und so ein konsistentes Verhalten bei Bild- und Videosegmentierungsaufgaben ermöglicht.

Mit SAM 3 sind Nutzer nicht mehr darauf beschränkt, auf Punkte zu zeigen oder Zeichnungen als Prompts zu verwenden. Stattdessen können sie beschreiben, was sie segmentieren möchten, und das Modell sucht in den Bild- oder Videoframes nach Bereichen, die dieser Beschreibung entsprechen.

Die Segmentierung wird durch Konzepte anstatt durch feste Objektkategorien gesteuert, was eine Nutzung mit offenem Vokabular über verschiedene Szenen hinweg und über die Zeit hinweg unterstützt. Tatsächlich arbeitet SAM 3 in einem großen, erlernten Konzeptraum, der auf einer Ontologie basiert, die aus Quellen wie Wikidata abgeleitet und durch groß angelegte Trainingsdaten erweitert wurde.

Abb. 2. Ein Beispiel für das Prompten von SAM 3 und die Segmentierung eines einzelnen Bildes (Quelle)

Im Vergleich zu früheren Versionen, die sich hauptsächlich auf geometrische Prompts stützten, stellt SAM 3 einen Schritt in Richtung flexiblerer, konzeptgesteuerter Segmentierung dar. Dies macht es besser geeignet für reale Anwendungen, in denen sich die interessierenden Objekte oder Ideen ändern können und nicht immer im Voraus definiert werden können.

Link to this sectionErkundung, wie promptbare visuelle Segmentierung funktioniert#

Wie funktioniert also die promptbare Konzeptsegmentierung? Sie baut auf großen vortrainierten Vision-Modellen und Vision-Language-Modellen auf, die auf riesigen Sammlungen von Bildern und in vielen Fällen gepaarten Texten trainiert wurden. Dieses Training ermöglicht es ihnen, allgemeine visuelle Muster und semantische Bedeutungen zu lernen.

Die meisten PCS-Modelle verwenden auf Transformern basierende Architekturen, die ein ganzes Bild auf einmal verarbeiten, um zu verstehen, wie verschiedene Regionen zueinander in Beziehung stehen. Ein Vision Transformer extrahiert visuelle Merkmale aus dem Bild, während ein Text-Encoder Wörter in numerische Repräsentationen umwandelt, mit denen das Modell arbeiten kann.

Während des Trainings können diese Modelle von verschiedenen Arten der Überwachung lernen, einschließlich Pixel-Masken, die exakte Objektgrenzen definieren, Bounding-Boxen, die Objekte grob lokalisieren, und Labels auf Bildebene, die beschreiben, was in einem Bild erscheint. Das Training mit verschiedenen Arten von gelabelten Daten hilft dem Modell, sowohl feine Details als auch breitere visuelle Konzepte zu erfassen.

Zum Zeitpunkt der Inferenz, also wenn das Modell tatsächlich verwendet wird, um Vorhersagen zu treffen, folgt PCS einem promptgesteuerten Prozess. Ein Nutzer gibt Anleitungen durch Textbeschreibungen, visuelle Hinweise wie Punkte oder Boxen oder Beispielbilder. Das Modell kodiert sowohl den Prompt als auch das Bild in eine gemeinsame interne Repräsentation (Embeddings) und identifiziert Regionen, die mit dem beschriebenen Konzept übereinstimmen.

Ein Maskendecoder wandelt diese gemeinsame Repräsentation dann in präzise Segmentierungsmasken auf Pixelebene um. Da das Modell visuelle Merkmale mit semantischer Bedeutung verknüpft, kann es neue Konzepte segmentieren, selbst wenn diese während des Trainings nicht explizit enthalten waren.

Oftmals kann das Ergebnis zudem durch Anpassung des Prompts oder Hinzufügen weiterer Anleitungen verfeinert werden, was dem Modell hilft, komplexe oder mehrdeutige Szenen zu bewältigen. Dieser iterative Prozess unterstützt die praktische Optimierung während der Bereitstellung.

Modelle zur promptbaren Konzeptsegmentierung werden typischerweise danach bewertet, wie gut sie bisher unbekannte Konzepte segmentieren und wie robust sie in verschiedenen Szenen funktionieren. Benchmarks konzentrieren sich oft auf Maskenqualität, Generalisierung und Recheneffizienz, was die Anforderungen in realen Bereitstellungen widerspiegelt.

Link to this sectionReale Anwendungsfälle von PCS#

Schauen wir uns als Nächstes an, wo die promptbare Konzeptsegmentierung bereits eingesetzt wird und anfängt, eine echte Wirkung zu erzielen.

Link to this sectionFlexible Bildsegmentierung für medizinische Bildgebung#

Die medizinische Bildgebung umfasst viele biologische Strukturen, Krankheiten und Scantypen, und jeden Tag tauchen neue Fälle auf. Traditionelle Segmentierungsmodelle haben Schwierigkeiten, mit dieser Vielfalt Schritt zu halten.

PCS passt auf natürliche Weise in diesen Bereich, da es Klinikern ermöglicht, zu beschreiben, was sie finden möchten, anstatt aus einer kurzen, starren Liste zu wählen. Mit Textphrasen oder visuellen Prompts kann PCS verwendet werden, um Organe oder betroffene Bereiche direkt zu segmentieren, ohne das Modell für jede neue Aufgabe neu zu trainieren. Dies erleichtert die Bewältigung verschiedener klinischer Anforderungen, reduziert die Notwendigkeit für das manuelle Zeichnen von Masken und funktioniert über viele Bildgebungstypen hinweg.

Ein großartiges Beispiel ist MedSAM-3, das die SAM 3-Architektur für textbasierte PCS in der medizinischen Bildgebung anpasst. Dieses Modell kann mit expliziten anatomischen und pathologischen Begriffen angewiesen werden, wie etwa Organnamen wie Leber oder Niere sowie läsionsbezogenen Konzepten wie Tumor oder Läsion. Bei einem entsprechenden Prompt segmentiert das Modell direkt die entsprechende Region im medizinischen Bild.

MedSAM-3 integriert auch multimodale große Sprachmodelle (MLLMs oder multimodale LLMs), die sowohl über Text als auch Bilder schlussfolgern können. Diese Modelle arbeiten in einem Agent-in-the-loop-Setup, bei dem die Ergebnisse iterativ verfeinert werden, um die Genauigkeit in schwierigeren Fällen zu verbessern.

Abb. 3. Eine MedSAM-3-Pipeline für textbasierte Tumor-Segmentierung in medizinischen Bildern (Quelle)

MedSAM-3 funktioniert gut bei Röntgen-, MRT-, CT-, Ultraschall- und Videodaten und unterstreicht, wie PCS flexiblere und effizientere Arbeitsabläufe in der medizinischen Bildgebung in realen klinischen Umgebungen ermöglichen kann.

Link to this sectionAdaptive Segmentierung für robotergestützte Chirurgie und Automatisierung#

Robotergestützte Chirurgie stützt sich auf Vision-Systeme, um Werkzeuge zu verfolgen und schnell wechselnde chirurgische Szenen zu verstehen. Instrumente bewegen sich schnell, die Beleuchtung variiert und neue Werkzeuge können jederzeit auftauchen, was vordefinierte Labelsysteme schwer wartbar macht.

Mit PCS können Roboter in Echtzeit Werkzeuge verfolgen, Kameras führen und chirurgische Schritte verfolgen. Dies reduziert die manuelle Beschriftung und macht Systeme einfacher an verschiedene Eingriffe anzupassen. Chirurgen oder automatisierte Systeme können Text-Prompts wie „Greifer“, „Skalpell“ oder „Kamerawerkzeug“ verwenden, um anzuzeigen, was in einem Bild segmentiert werden soll.

Abb. 4. Segmentierung von chirurgischen Instrumenten, die während der robotergestützten Chirurgie verwendet werden (Quelle)

Link to this sectionOpen-Vocabulary-Segmentierung mit Ultralytics YOLOE-26#

Ein weiteres interessantes State-of-the-Art-Modell im Zusammenhang mit der promptbaren Konzeptsegmentierung ist unser Ultralytics YOLOE-26. Unser Modell bringt eine promptgesteuerte Open-Vocabulary-Segmentierung in die Ultralytics YOLO-Modellfamilie.

YOLOE-26 basiert auf der Ultralytics YOLO26-Architektur und unterstützt die Open-Vocabulary-Instanzsegmentierung. YOLOE-26 ermöglicht es Nutzern, die Segmentierung auf verschiedene Weise zu steuern.

Es unterstützt Text-Prompts, bei denen kurze, visuell verankerte Sätze das Zielobjekt spezifizieren können, sowie visuelle Prompts, die zusätzliche Anleitung basierend auf Bildhinweisen bieten. Darüber hinaus enthält YOLOE-26 einen Modus ohne Prompts für Zero-Shot-Inferenz, in dem das Modell Objekte aus einem eingebauten Vokabular erkennt und segmentiert, ohne dass Nutzer-Prompts erforderlich sind.

YOLOE-26 ist hervorragend geeignet für Anwendungen wie Videoanalytik, Robotik-Wahrnehmung und Edge-basierte Systeme, bei denen sich Objektkategorien ändern können, aber niedrige Latenz und zuverlässiger Durchsatz wesentlich bleiben. Es ist auch besonders nützlich für die Datenbeschriftung und die Kuratierung von Datensätzen, da es Arbeitsabläufe durch die Automatisierung von Teilen des Annotationsprozesses rationalisiert.

Link to this sectionVor- und Nachteile der promptbaren Konzeptsegmentierung#

Hier sind einige der Hauptvorteile der Verwendung der promptbaren Konzeptsegmentierung:

• Schnellere Iteration und Prototyping: Neue Segmentierungsaufgaben können schnell getestet werden, indem Prompts geändert werden, anstatt Datensätze neu zu erstellen oder Modelle neu zu trainieren, was Experimente und Entwicklung beschleunigt.
• Anpassungsfähigkeit über Domänen hinweg: Dasselbe PCS-Modell kann oft auf verschiedene Domänen angewendet werden, wie medizinische Bildgebung, Robotik oder Videoanalytik, mit minimalen Änderungen am Arbeitsablauf.
• Interaktive Verfeinerung: Nutzer können Prompts iterativ anpassen oder Anleitungen hinzufügen, um die Ergebnisse zu verbessern, was es einfacher macht, mehrdeutige Szenen oder Randfälle ohne Retraining zu handhaben.

Obwohl PCS klare Vorteile hat, sind hier einige Einschränkungen zu beachten:

• Prompt-Sensitivität: Kleine Änderungen daran, wie ein Prompt geschrieben oder bereitgestellt wird, können die Ausgabe beeinflussen. Prompts, die zu vage oder zu spezifisch sind, können zu unvollständiger oder inkorrekter Segmentierung führen.
• Weniger vorhersehbares Verhalten: Da das Modell Prompts interpretiert, anstatt aus festen Labels zu wählen, können Ergebnisse über Szenen und Eingaben hinweg stärker variieren, was für streng kontrollierte Pipelines ein Problem darstellen kann.
• Mehrdeutige Konzeptinterpretation: Einige Konzepte sind subjektiv oder locker definiert, was zu inkonsistenten Segmentierungsergebnissen zwischen Nutzern oder über verschiedene Bilder hinweg führen kann.
• Begrenzte Zuverlässigkeit bei hochspezifischen Zielen: Promptbasierte Modelle sind im Allgemeinen weniger zuverlässig bei eng definierten, instanzspezifischen Aufgaben, wie etwa der Fehlererkennung, bei denen eine präzise, konsistente Identifizierung subtiler Merkmale erforderlich ist.

Link to this sectionWahl zwischen promptbarer und traditioneller Segmentierung#

Wenn du die promptbare Segmentierung erkundest, fragst du dich vielleicht, für welche Anwendungen sie am besten geeignet ist und wann ein traditionelles Computer-Vision-Modell wie YOLO26 besser zu dem Problem passt, das du zu lösen versuchst. Promptbare Segmentierung funktioniert gut bei allgemeinen Objekten, ist aber nicht gut geeignet für Anwendungsfälle, die sehr präzise und konsistente Ergebnisse erfordern.

Die Fehlererkennung ist ein gutes Beispiel. In der Fertigung sind Fehler oft winzig und subtil, wie kleine Kratzer, Dellen, Fehlausrichtungen oder Oberflächenunregelmäßigkeiten. Sie können zudem je nach Material, Beleuchtung und Produktionsbedingungen stark variieren.

Diese Probleme sind schwer mit einem einfachen Prompt zu beschreiben und für ein universelles Modell noch schwieriger zuverlässig zu erkennen. Insgesamt neigen promptbasierte Modelle dazu, Fehler zu übersehen oder instabile Ergebnisse zu liefern, während speziell auf Fehlerdaten trainierte Modelle für reale Inspektionssysteme wesentlich zuverlässiger sind.

Link to this sectionWichtige Erkenntnisse#

Die promptbare Konzeptsegmentierung macht Vision-Systeme einfacher an die reale Welt anzupassen, in der ständig neue Objekte und Ideen auftauchen. Anstatt auf feste Labels festgelegt zu sein, können Nutzer einfach beschreiben, was sie segmentieren möchten, und das Modell den Rest erledigen lassen, was Zeit spart und manuelle Arbeit reduziert. Auch wenn sie noch Einschränkungen hat, verändert PCS bereits die praktische Nutzung der Segmentierung und wird wahrscheinlich zu einem Kernbestandteil zukünftiger Vision-Systeme werden.

Erfahre mehr über KI, indem du unser GitHub-Repository besuchst und unserer Community beitrittst. Besuche unsere Lösungsseiten, um mehr über KI in der Robotik und Computer Vision in der Fertigung zu erfahren. Entdecke unsere Lizenzoptionen, um heute mit Vision AI zu beginnen!