Vision Language Model (VLM)
Ein Vision-Language-Modell (VLM) verarbeitet Bilder und Text gemeinsam, um Bildbeschreibungen zu erstellen, Fragen zu beantworten und Objekte anhand ihrer Namen zu finden. Architekturen und Beispiele.
Ein Vision-Language-Modell (VLM) ist ein Neuronales Netz, das Bilder und oft auch Videos zusammen mit Text verarbeitet. Je nach Aufbau bewertet es, wie gut ein Bild zu einer Bildunterschrift passt, verfasst Texte zu einem Bild oder findet die Objekte, die in einem Textprompt genannt werden. VLMs beantworten Fragen wie „Wie viele Menschen warten an der Bushaltestelle?“, wandeln Diagramme und Belege in strukturierte Daten um und finden Objekte, die frei formuliert beschrieben werden. Sie verbinden die visuelle Wahrnehmung von Computer-Vision-Modellen, die Vorhersagen aus einer festen Klassenliste treffen, mit der offenen Sprache großer Sprachmodelle (LLMs).
Funktionsweise von Vision-Language-Modellen#
Jedes VLM benötigt einen Bildencoder, meist einen Vision Transformer (ViT), der ein Bild in Embeddings umwandelt, sowie eine Methode, um diese Embeddings mit Text in Beziehung zu setzen. Drei Architekturen sind verbreitet:
- Zwei Encoder: CLIP und SigLIP kodieren Bilder und Text getrennt in einem gemeinsamen Embedding-Raum. Sie werden mithilfe von kontrastivem Lernen anhand von Hunderten Millionen bis Milliarden Bild-Bildunterschrift-Paaren trainiert. Sie messen Ähnlichkeiten, statt Text zu generieren, und sind daher Standardwerkzeuge für die Zero-Shot-Klassifizierung und die Bildersuche.
- Generative VLMs: Ein vortrainierter Bildencoder, oft von CLIP oder SigLIP, speist einen Projektor. Dieser wandelt seine Patch-Embeddings in „visuelle Token“ im Eingaberaum des LLM um. Das LLM verarbeitet sie zusammen mit dem Textprompt und verfasst die Antwort. LLaVA-1.5 funktioniert auf diese Weise: Sein CLIP-ViT-L/14-Encoder teilt ein Bild mit 336×336 Pixeln in ein Raster von 24×24 Patches auf und erzeugt 576 visuelle Token. Flamingo von DeepMind verfolgte einen anderen Ansatz und fügte Kreuzaufmerksamkeitsschichten in ein eingefrorenes LLM ein, sodass Text-Token Bildmerkmale berücksichtigen können.
- Detektoren mit offenem Vokabular: Modelle wie Grounding DINO, YOLO-World und YOLOE vergleichen Bildbereiche mit Text-Embeddings und geben Bounding Boxes oder Masken für beliebige benannte Objekte aus. Diese Aufgabe wird Grounding genannt. Manche generativen VLMs können Objekte ebenfalls verorten und geben dafür Bounding-Box-Koordinaten als Text oder spezielle Positions-Token aus.
Bei der generativen Architektur verfasst das LLM seine Antwort Token für Token und berücksichtigt bei jedem Schritt die visuellen Token und den Prompt:
Generative VLMs werden in der Regel in mehreren Phasen trainiert. Zunächst lernt der Projektor anhand von Bild-Bildunterschrift-Paaren, visuelle Token mit den Embeddings des LLM abzugleichen, während Encoder und LLM eingefroren bleiben. Beim visuellen Instruction-Tuning wird das Modell anschließend anhand von Gesprächen über Bilder feinabgestimmt. Präferenzabstimmung wie RLHF verringert Antworten, die Dinge beschreiben, die im Bild nicht zu sehen sind.
Detektoren mit offenem Vokabular bringen denselben Textabgleich in die Echtzeiterkennung. YOLOE, entwickelt von Forschenden der Tsinghua-Universität und im Ultralytics-Paket als YOLOE-26 auf der YOLO26-Architektur verfügbar, wandelt Klassennamen mit dem MobileCLIP2-Textencoder von Apple in Embeddings um und gleicht sie mit Bildbereichen ab. Das Modell gibt Bounding Boxes und Instanzmasken für Kategorien aus, für deren Kennzeichnung es nie trainiert wurde. Die folgenden Prompts enthalten Sonnenbrillen. Diese gehören nicht zu den 80 COCO-Klassen, die YOLO-Modelle mit festem Klassenumfang erkennen:
from ultralytics import YOLOE
# Ein Erkennungs- und Segmentierungsmodell mit offenem Vokabular YOLOE-26 laden
model = YOLOE("yoloe-26s-seg.pt")
# Klassen in klaren Worten benennen; der Textencoder wandelt jede Klasse in ein Embedding um
model.set_classes(["person", "glasses", "bus"])
# Nur die Klassen erkennen und segmentieren, die im Prompt stehen
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")Die ausgegebene Liste enthält den Bus, vier Personen und die Brillen, die zwei von ihnen tragen. Wenn du die Wortliste änderst, ändert sich auch, was das Modell erkennt – ganz ohne erneutes Training.
Anwendungen in der Praxis#
- Visuelle Frage-Antwort: Prüf-, Einzelhandels- und Supportwerkzeuge fragen ein VLM zu einem Foto, etwa ob ein Regal vollständig bestückt ist oder welche Warnleuchte auf einem Armaturenbrettbild leuchtet.
- Dokumentenverständnis: VLMs lesen Rechnungen, Formulare, Tabellen und Diagramme direkt aus Seitenbildern und geben strukturierte Felder zurück. Dadurch entfällt oft ein separater OCR-Schritt.
- Bildunterschriften und Barrierefreiheit: Generierte Beschreibungen liefern Alternativtexte für Screenreader und durchsuchbare Metadaten für Fotosammlungen.
- Robotik: Vision-Language-Action-Modelle wie RT-2 von Google DeepMind erweitern ein VLM um die Ausgabe von Roboteraktionen. So kann ein Roboter Anweisungen wie „Heb die leere Dose auf“ befolgen.
- Datenbeschriftung: Detektoren mit offenem Vokabular erstellen anhand von Textaufforderungen erste Boxen und Masken für neue Klassen. So erhalten annotierende Personen einen Ausgangspunkt statt eines leeren Bildes. Die Ultralytics Platform beschriftet Erkennungsdatensätze automatisch mit solchen Detektoren und generativen VLMs, bevor ein YOLO26-Modell anhand der Beschriftungen trainiert wird.
VLMs im Vergleich zu verwandten Begriffen#
- LLM: Ein rein textbasiertes Modell. Viele generative VLMs bestehen aus einem LLM mit angeschlossenem Bildencoder. Sie übernehmen dessen Schlussfolgerungsfähigkeit und Wissen, aber auch seine Neigung, Dinge zu erfinden.
- Multimodale KI: Der Oberbegriff für Modelle, die verschiedene Datentypen kombinieren. Ein Modell, das Audio mit Text oder Radar mit Kamerabildern kombiniert, ist multimodal, ohne ein VLM zu sein.
- Objekterkennung: Ein Detektor mit geschlossenem Klassenbestand sagt nur die Klassen vorher, auf die er trainiert wurde, und nimmt keinen Text entgegen. Detektoren mit offenem Vokabular sind die VLMs, die diese Aufgabe übernehmen, wenn die Klassen zum Zeitpunkt der Inferenz benannt werden. Die VLM-Bestenliste vergleicht, wie genau Detektoren mit offenem Vokabular und generative VLMs Objekte in realen Datensätzen erkennen.
Einschränkungen#
VLMs halluzinieren: Ein Bildbeschreibungsmodell kann eine Gabel auf einem Tisch erwähnen, auf dem gar keine liegt, weil das Sprachmodell einen wahrscheinlichen Satz vervollständigt. Feine räumliche Schlussfolgerungen, das Zählen großer Gruppen und das Lesen kleiner Schrift sind weitere Schwachstellen. Außerdem beansprucht jedes Bild Hunderte oder Tausende Token des Kontextfensters des LLM. Der POPE-Benchmark misst Halluzinationen von Objekten, indem er ein Modell mit Fragen wie „Ist ein Auto im Bild?“ prüft. Die fehlenden Objekte werden zufällig ausgewählt, aus den häufigsten Objekten im Datensatz entnommen oder anhand von Objekten bestimmt, die oft zusammen mit den tatsächlich vorhandenen auftreten.










