Grounding

Grounding bezeichnet den Prozess, Wörter oder andere Symbole mit den Dingen zu verknüpfen, auf die sie sich beziehen, sodass die Sprache eines KI-Systems an Belege gebunden ist, auf die es verweisen kann. In der Computer Vision bedeutet visuelles Grounding, den Bereich eines Bildes oder Videos zu lokalisieren, den eine Formulierung beschreibt: Für die Beschreibung „der Mann im beigefarbenen Mantel“ gibt ein geerdetes Modell eine Bounding-Box oder Maske um diesen Mann zurück. Bei großen Sprachmodellen (LLMs) bedeutet Grounding, erzeugten Text mit abgerufenen Dokumenten, Suchergebnissen oder Werkzeugausgaben zu verknüpfen, damit sich Aussagen bis zu einer Quelle zurückverfolgen lassen. Beide Bedeutungen knüpfen an das Problem der symbolischen Verankerung an, das der Kognitionswissenschaftler Stevan Harnad 1990 formulierte: Wie können Symbole, die ein System verarbeitet, für dieses System selbst Bedeutung haben und nicht nur für die Menschen, die sie lesen?

Aufgaben des visuellen Groundings#

• Grounding von Formulierungen: Lokalisieren Sie jedes in einem Satz erwähnte Objekt, etwa sowohl „eine Frau“ als auch „ihren Hund“ in einer Bildunterschrift.
• Verständnis von referenzierenden Ausdrücken: Finde das einzelne Objekt, auf das ein Ausdruck verweist, etwa „das zweite Auto von links“. Die Benchmarks RefCOCO, RefCOCO+ und RefCOCOg sammeln solche Ausdrücke zu COCO-Bildern. RefCOCO+ verbietet Ortsangaben wie „links“, sodass die Ausdrücke das Aussehen beschreiben müssen.
• Detektion mit offenem Vokabular: Finde zur Inferenzzeit alle Instanzen von Kategorien, die im Text genannt werden. Damit geht das Verfahren über die feste Klassenliste eines Objektdetektors mit geschlossenem Vokabular hinaus.
• Bildunterschriften und Antworten mit Grounding: Ein Vision-Language-Modell (VLM) verfasst eine Beschreibung oder Antwort und fügt für jedes erwähnte Objekt eine Box hinzu.
• Zeitliches und dreidimensionales Grounding: Finde den Zeitpunkt in einem Video, den ein Satz beschreibt, oder das Objekt in einem 3D-Scan eines Raums.

So funktionieren Grounding-Modelle#

Ein Grounding-Modell kodiert Text und Bild, bewertet jeden möglichen Bildbereich anhand jeder Formulierung und behält die Bereiche, deren Werte einen Schwellenwert überschreiten. Beim Training werden die beiden Einbettungs-Räume aufeinander abgestimmt, häufig mit kontrastivem Lernen anhand von Bild-Text-Paaren. So liegt die Einbettung von „blauer Rucksack“ nahe bei den Merkmalen blauer Rucksäcke. Leistungsfähigere Modelle führen die Modalitäten außerdem früh mithilfe von Cross-Attention zusammen. So können die Wörter beeinflussen, welche visuellen Merkmale das Netz berechnet.

GLIP fasste Objekterkennung selbst als Phrasenverankerung neu auf, sodass sich Erkennungs- und Grounding-Daten zum Trainieren eines einzigen Modells nutzen ließen. Grounding DINO, das Ultralytics Platform für die automatische Annotation bereitstellt, akzeptiert Kategorienamen oder referenzierende Ausdrücke und erreichte 52,5 AP auf COCO, ohne COCO-Trainingsdaten zu verwenden. Metas SAM 3, das im November 2025 veröffentlicht und auf Platform als SAM 3 Text bereitgestellt wurde, segmentiert und verfolgt jedes Vorkommen einer kurzen Nominalphrase wie „gelber Schulbus“ in Bildern und Videos. Generative VLMs verankern Text, indem sie Boxkoordinaten als Text oder spezielle Orts-Tokens zusammen mit ihren Antworten ausgeben. Die VLM-Bestenliste vergleicht, wie genau Detektoren mit offenem Vokabular und generative VLMs Klassennamen aus Erkennungsdatensätzen der realen Welt verankern.

YOLOE, vorgestellt von Forschenden der Tsinghua-Universität und im Ultralytics-Paket als YOLOE-26 auf der YOLO26-Architektur verfügbar, verankert Kategorienamen und kurze Formulierungen in Echtzeit: Ein Textencoder wandelt jede Formulierung in eine Einbettung um, und der Detektionskopf gleicht sie mit jedem Bildbereich ab:

from ultralytics import YOLOE

# Ein Erkennungs- und Segmentierungsmodell mit offenem Vokabular YOLOE-26 laden
model = YOLOE("yoloe-26s-seg.pt")

# Der Textencoder bettet jede Formulierung einmal ein. So wird sie zu einer Klasse, die das Modell finden kann.
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Jede verankerte Formulierung mit ihrer Pixel-Box ausgeben (x1, y1, x2, y2)
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

Jede ausgegebene Zeile ordnet eine Formulierung dem Bildbereich zu, den YOLOE dafür verankert hat. Gibt es für eine Formulierung keine passende Stelle im Bild, wird nichts ausgegeben.

Anwendungen#

• Robotik: Ein Roboter, der die Anweisung „Nimm die rote Tasse neben dem Laptop“ erhält, muss die Formulierung einem Objekt und dessen 3D-Position zuordnen, bevor er einen Greifvorgang planen kann.
• Datenannotation: Detektoren mit offenem Vokabular erstellen anhand einer Namensliste erste Boxen und Masken für neue Klassen. Annotierende Personen korrigieren diese, statt ganz von vorn zu zeichnen. Die Ultralytics Platform beschriftet Erkennungsdatensätze automatisch, bevor ein YOLO26-Modell anhand der korrigierten Beschriftungen trainiert wird.
• Videosuche: Zeitliches Grounding findet unter stundenlangem Filmmaterial den Clip, in dem „ein Radfahrer an der Kreuzung links abbiegt“.
• Barrierefreiheit: Assistenz-Apps beantworten die Frage „Wo ist das Ausgangsschild?“, indem sie das Objekt lokalisieren, statt es nur zu benennen.

Grounding im Vergleich zu verwandten Begriffen#

• Bildbeschriftung: Ordnet einem Bild Text zu. Grounding funktioniert umgekehrt: vom Text zu den Bildbereichen, die er beschreibt.
• Visuelle Fragebeantwortung (VQA): Beantwortet eine Frage zu einem Bild in Worten. Grounded VQA verweist außerdem auf die Belege für die Antwort.
• Zero-Shot-Lernen: Erkennt Klassen ohne Trainingsbeispiele. Open-Vocabulary-Grounding ist eine Möglichkeit, dies zu erreichen, da für eine in Worten beschriebene Klasse keine annotierten Bilder nötig sind.
• Multimodale KI: Das übergeordnete Gebiet von Modellen, die verschiedene Datentypen kombinieren; Grounding bezeichnet die Zuordnung bestimmter Wörter zu bestimmten Teilen der anderen Modalität.

Grounding in Sprachmodellen#

Ein LLM, das nur aus dem Gedächtnis antwortet, kann flüssig formulierte Behauptungen ohne Quelle erzeugen – eine Ursache für Halluzinationen. Grounded Generation liefert zur Inferenzzeit Belege, etwa durch Retrieval-Augmented Generation (RAG), Websuche, Datenbankabfragen oder Tool-Aufrufe, und fordert das Modell auf, anhand dieser Belege zu antworten und sie zu zitieren. Eine fundierte Antwort lässt sich Aussage für Aussage anhand ihrer Quellen überprüfen. Bei der Bewertung fundierter Systeme wird die Faktentreue – ob jede Aussage durch den abgerufenen Text gestützt wird – getrennt davon gemessen, ob der abgerufene Text korrekt war.