Visual Prompting

Visuelles Prompting bedeutet, einem Computer-Vision-Modell durch Markierungen direkt im Bild mitzuteilen, was es segmentieren oder erkennen soll – etwa durch einen Klick, eine Box, eine Skizze, eine Maske oder ein Beispiel, statt das Ziel in Worten zu beschreiben. Promptfähige Basismodelle wie Metas Segment Anything Model (SAM) wandeln jede Markierung in ein Embedding um und sagen eine Maske für das markierte Objekt voraus, ohne dass ein erneutes Training erforderlich ist. Ein visueller Prompt markiert ein bestimmtes Objekt oder zeigt ein Beispiel dafür, wonach gesucht werden soll. Das hilft, wenn sich das Ziel nur schwer in einem Textprompt benennen lässt, etwa bei einem bestimmten Defekt oder einem unbekannten Bauteil. Visuelles Prompt-Tuning hat zwar einen ähnlichen Namen, ist aber eine Methode des Prompt-Tunings, bei der während des Feintunings zusätzliche Eingabetokens gelernt werden, ohne dass jemand das Bild markiert.

So funktioniert visuelles Prompting#

SAM, das Meta 2023 zusammen mit dem SA-1B-Datensatz mit 1,1 Milliarden Masken für 11 Millionen Bilder veröffentlichte, teilt die Verarbeitung in drei Teile auf. Ein großer Bildencoder, ein Vision Transformer, wird einmal pro Bild ausgeführt. Ein leichter Prompt-Encoder wandelt Punkte und Boxen in Positions-Embeddings um, und ein Maskendecoder kombiniert beides, um in einem Webbrowser in etwa 50 Millisekunden eine Maske vorherzusagen. So wird das Ergebnis mit jedem neuen Klick interaktiv aktualisiert. Ein einzelner Klick ist mehrdeutig, da er ein Hemd oder die Person, die es trägt, meinen könnte. Daher kann SAM drei Kandidatenmasken mit jeweils einem Qualitätswert zurückgeben. Metas SAM 2 (2024) erweitert Prompts auf Videos und verfolgt ein angeklicktes Objekt mithilfe früherer Bilder in den folgenden Frames. SAM 2.1 läuft im Ultralytics-Paket. Dort ist ein Klick ein Punkt mit der Kennzeichnung 1 für Vordergrund oder 0 für Hintergrund:

from ultralytics import SAM

# Das Basismodell SAM 2.1 von Meta laden
model = SAM("sam2.1_b.pt")

# Ein Klick auf den Mann im dunklen Mantel, Kennzeichnung 1 für Vordergrund
results = model("https://ultralytics.com/images/bus.jpg", points=[280, 600], labels=[1])
result = results[0]

# Das Bild mit der für das angeklickte Objekt vorhergesagten Maske speichern
result.save(filename="sam_point_prompt.jpg")

Das gespeicherte Bild zeigt die Maske, die SAM 2.1 anhand dieses einzelnen Klicks vorhersagt. Bei der interaktiven Segmentierung wird dieser Schritt wiederholt, bis die Maske stimmt. So funktioniert der Modus zur intelligenten Annotation der Ultralytics Platform: Jeder Klick wird zu einem SAM-Punktprompt. Ein Klick außerhalb der aktuellen Maske fügt diesen Bereich hinzu, ein Klick innerhalb entfernt ihn. Je nach Aufgabe des Datensatzes wird das Ergebnis als Polygon, Box oder gedrehte Box gespeichert.

Arten visueller Prompts#

• Punkte und Boxen: Klicks auf Vorder- und Hintergrund wählen Bereiche aus oder schließen sie aus. Eine grobe Box um ein Objekt ist weniger mehrdeutig als ein Klick und ermöglicht es außerdem, die Boxen eines Detektors automatisch als Prompts für ein Segmentierungsmodell zu verwenden.
• Masken und Skizzen: Eine grobe Maske aus einem vorherigen Schritt oder über das Objekt gezeichnete Striche verfeinern eine Vorhersage, die mit Klicks allein falsch wäre.
• Beispielboxen: Eine Box um ein Beispiel fordert das Modell auf, alle ähnlichen Objekte zu finden. Um alle Schrauben eines Typs zu zählen, genügt also eine einzige Beispielbox. Open-Set-Detektoren wie T-Rex2 und YOLOE sowie Metas SAM 3 (2025) akzeptieren solche Beispielaufforderungen.
• Beispiele im Kontext: Ein Beispielbild mit der gewünschten Ausgabe, etwa einer Maske oder einer Kantendarstellung, definiert die Aufgabe. Das Modell erstellt die Ausgabe für ein neues Bild anhand von Ähnlichkeiten.
• Markierungen für Vision-Language-Modelle: Beim Set-of-Mark-Prompting werden nummerierte Markierungen über Bildbereiche gelegt, damit sich das Modell in seiner Antwort auf „Bereich 3“ beziehen kann. Das verbessert die visuelle Verankerung.

Anwendungen in der Praxis#

• Datenannotierung: Einige Klicks pro Objekt ersetzen das punktweise Nachzeichnen eines Polygons und senken so die Kosten für die Erstellung von Instanzsegmentierungsdatensätzen.
• Medizinische Bildgebung: MedSAM passte SAM an 1.570.263 Paare aus medizinischen Bildern und Masken aus zehn Bildgebungsmodalitäten an. So kann ein Arzt durch eine Box um ein Organ oder eine Läsion dessen Umriss ermitteln.
• Robotik: Ein Bediener klickt in der Kameraansicht eines Roboters auf ein Objekt. Die resultierende Maske liefert dem Roboter die exakten Pixel des Objekts für die Planung des Greifvorgangs.