Visual Prompting

Visual prompting is an emerging technique in computer vision where users provide spatial or visual cues—such as points, bounding boxes, or scribbles—to guide an AI model's focus toward specific objects or regions within an image. Unlike traditional prompt engineering which relies primarily on text descriptions, visual prompting allows for more precise and intuitive interaction with Artificial Intelligence (AI) systems. This method leverages the capabilities of modern foundation models to perform tasks like segmentation and detection without requiring extensive retraining or large labeled datasets. By effectively "pointing" at what matters, users can adapt general-purpose models to novel tasks instantaneously, bridging the gap between human intent and machine perception.

Mechanismen des Visual Prompting#

Im Kern funktioniert Visual Prompting, indem räumliche Informationen direkt in die Verarbeitungspipeline des Modells eingespeist werden. Wenn ein Nutzer auf ein Objekt klickt oder einen Rahmen zieht, werden diese Eingaben in koordinaten basierte Embeddings umgewandelt, die das neuronale Netz mit den Bildmerkmalen integriert. Dieser Prozess ist von zentraler Bedeutung für interaktive Architekturen wie das Segment Anything Model (SAM), bei dem das Modell Masken basierend auf geometrischen Prompts vorhersagt.

Die Flexibilität des Visual Prompting erlaubt verschiedene Interaktionsarten:

• Punkt-Prompts: Ein Nutzer klickt auf einen bestimmten Pixel, um das gewünschte Objekt zu markieren. Das Modell erweitert diese Auswahl dann auf die gesamten Objektgrenzen.
• Box Prompts: Das Zeichnen einer bounding box liefert eine grobe Lokalisierung und signalisiert dem Modell, alles in diesem Bereich enthaltene zu segmentieren oder zu klassifizieren.
• Skizzen-Prompts (Scribble Prompts): Freihandlinien, die über ein Objekt gezeichnet werden, können dabei helfen, komplexe Szenen zu disambiguieren, in denen sich Objekte überlappen oder ähnliche Texturen aufweisen.

Jüngste Forschungen, die auf der CVPR 2024 vorgestellt wurden, verdeutlichen, wie Visual Prompting den für die data annotation erforderlichen Zeitaufwand erheblich reduziert, da menschliche Annotatoren Modellvorhersagen in Echtzeit durch einfache Klicks korrigieren können, anstatt Polygone manuell nachzuziehen.

Visual Prompting vs. Text Prompting#

Obwohl beide Techniken darauf abzielen, das Verhalten des Modells zu steuern, ist es wichtig, Visual Prompting von textbasierten Methoden zu unterscheiden. Text-to-image-Generierung oder Zero-Shot-Detektion stützt sich auf natural language processing (NLP), um semantische Beschreibungen zu interpretieren (z. B. „finde das rote Auto“). Sprache kann jedoch ambig oder unzureichend sein, um präzise räumliche Positionen oder abstrakte Formen zu beschreiben.

Visual Prompting löst diese Ambiguität, indem die Anweisung im Pixelraum selbst verankert wird. Beispielsweise ist es in der medical image analysis für einen Radiologen weitaus präziser, auf einen verdächtigen Knoten zu klicken, als zu versuchen, dessen genaue Koordinaten und unregelmäßige Form über Text zu beschreiben. Oft kombinieren die leistungsfähigsten Workflows beide Ansätze – sie nutzen Text für die semantische Filterung und visuelle Prompts für räumliche Präzision –, ein Konzept, das als multi-modal learning bekannt ist.

Praxisanwendungen#

Die Anpassungsfähigkeit des Visual Prompting hat zu einer schnellen Einführung in verschiedenen Branchen geführt:

• Interaktive medizinische Diagnostik: Ärzte verwenden Tools für Visual Prompting, um Tumore oder Organe in MRT-Scans zu isolieren. Durch einfaches Anklicken einer Region von Interesse können sie sofort volumetrische 3D-Messungen generieren, was bei der präzisen tumor detection und OP-Planung hilft.
• Intelligente Bildbearbeitung: In Consumer-Software wie Adobe Photoshop oder mobilen Apps ermöglicht Visual Prompting „Magic Select“-Tools. Nutzer können auf eine Person oder ein Objekt tippen, um den Hintergrund zu entfernen oder zielgerichtete Filter anzuwenden, wobei zugrundeliegende instance segmentation-Technologien genutzt werden, ohne dass manuelle Maskierungsfähigkeiten erforderlich sind.
• Robotische Manipulation: Bei AI in Robotics können Roboter angewiesen werden, über eine visuelle Schnittstelle bestimmte Gegenstände aufzunehmen. Ein Bediener klickt auf ein Objekt im Kamerastream des Roboters und stellt so einen visuellen Prompt bereit, den der Roboter in Greifkoordinaten umsetzt, was die human-in-the-loop-Automatisierung in Lagern erleichtert.

Implementierung mit Ultralytics#

Das Ultralytics-Ökosystem unterstützt Visual-Prompting-Workflows, insbesondere durch Modelle wie FastSAM und SAM. Diese Modelle ermöglichen es Entwicklern, Punkt- oder Box-Koordinaten programmgesteuert zu übergeben, um Segmentierungsmasken abzurufen.

Das folgende Beispiel demonstriert, wie man das Paket ultralytics verwendet, um einen Punkt-Prompt auf ein Bild anzuwenden und das Modell anzuweisen, das Objekt an bestimmten Koordinaten zu segmentieren.

from ultralytics import SAM

# Load the Segment Anything Model (SAM)
model = SAM("sam2.1_b.pt")

# Apply a visual point prompt to the image
# The 'points' argument accepts [x, y] coordinates
# labels: 1 indicates a foreground point (include), 0 indicates background
results = model("https://ultralytics.com/images/bus.jpg", points=[[300, 350]], labels=[1])

# Display the segmented result
results[0].show()

Förderung der Modell-Agilität#

Visual Prompting stellt einen Wandel hin zu „promptable“ Computer Vision dar, bei dem Modelle keine statischen „Black Boxes“ mehr sind, sondern interaktive Werkzeuge. Diese Fähigkeit ist essenziell für active learning-Schleifen, in denen sich Modelle durch die Einbindung von Nutzerfeedback rasant verbessern.

Für Entwickler, die diese Funktionen in die Produktion integrieren möchten, bietet die Ultralytics Platform Tools zur Verwaltung von Datensätzen und zur Bereitstellung von Modellen, die mit dynamischen Eingaben umgehen können. Im Zuge des Forschungsfortschritts erwarten wir eine noch engere Integration zwischen visuellen Prompts und large language models (LLMs), wodurch Systeme ermöglicht werden, die visuelle Eingaben mit derselben Geläufigkeit verarbeiten können, wie sie es derzeit bei Texten tun.