Vision Language Model (VLM)

Ein Vision Language Model (VLM) ist eine Art künstliche Intelligenz, die sowohl visuelle Informationen (Bilder oder Videos) als auch Textinformationen gleichzeitig verarbeiten und interpretieren kann. Im Gegensatz zu herkömmlichen Computer Vision Modellen, die sich ausschließlich auf Pixeldaten konzentrieren, oder Large Language Models (LLMs), die nur Text verstehen, schlagen VLMs die Brücke zwischen diesen beiden Modalitäten. Durch das Training auf riesigen Datensätzen, die Bild-Text-Paare enthalten, lernen diese Modelle, visuelle Merkmale mit sprachlichen Konzepten zu verknüpfen, was es ihnen ermöglicht, Bilder zu beschreiben, Fragen zu visuellen Szenen zu beantworten und sogar Befehle basierend auf dem auszuführen, was sie „sehen“.

Link to this sectionWie Vision Language Models funktionieren#

Im Kern bestehen VLMs typischerweise aus zwei Hauptkomponenten: einem Vision-Encoder und einem Text-Encoder. Der Vision-Encoder verarbeitet Bilder, um Feature Maps und visuelle Repräsentationen zu extrahieren, während der Text-Encoder den sprachlichen Input verarbeitet. Diese unterschiedlichen Datenströme werden dann mithilfe von Mechanismen wie Cross-Attention zusammengeführt, um die visuellen und textuellen Informationen in einem gemeinsamen Embedding-Raum abzugleichen.

Jüngste Fortschritte in den Jahren 2024 und 2025 haben sich in Richtung einheitlicherer Architekturen bewegt, bei denen ein einzelnes Transformer-Backbone beide Modalitäten verarbeitet. Zum Beispiel zeigen Modelle wie Google PaliGemma 2, wie effektiv die Integration dieser Ströme die Leistung bei komplexen Schlussfolgerungsaufgaben verbessern kann. Diese Ausrichtung ermöglicht es dem Modell, den Kontext zu verstehen, wie etwa die Erkenntnis, dass das Wort „Apfel“ in einem Bild eines Supermarkts eine Frucht bezeichnet, in einem Logo jedoch ein Technologieunternehmen.

Link to this sectionPraxisanwendungen#

Die Fähigkeit, die Welt sowohl durch Sehen als auch durch Sprache zu verstehen, eröffnet vielfältige Anwendungen in verschiedenen Branchen:

• Visual Question Answering (VQA): VLMs werden häufig in der medizinischen Diagnostik eingesetzt, um Radiologen zu unterstützen. Ein Arzt könnte ein System fragen: "Ist auf diesem Röntgenbild ein Bruch zu sehen?" und das Modell analysiert das medizinische Bild, um eine vorläufige Einschätzung zu liefern und so Diagnosefehler zu reduzieren.
• Intelligente E-Commerce-Suche: In Einzelhandelsumgebungen ermöglichen es VLMs Benutzern, mithilfe von natürlichsprachlichen Beschreibungen in Kombination mit Bildern nach Produkten zu suchen. Ein Käufer könnte ein Foto des Outfits eines Prominenten hochladen und fragen: "Finde mir ein Kleid mit diesem Muster, aber in Blau", woraufhin das System mittels semantischer Suche präzise Treffer liefert.
• Automatisierte Untertitelung und Barrierefreiheit: VLMs generieren automatisch beschreibende Alt-Texte für Bilder im Web, wodurch digitale Inhalte für sehbehinderte Nutzer, die auf Screenreader angewiesen sind, zugänglicher werden.

Link to this sectionUnterscheidung von VLMs zu verwandten Konzepten#

Es ist hilfreich, VLMs von anderen KI-Kategorien abzugrenzen, um ihre spezifische Rolle zu verstehen:

• VLM vs. LLM: Ein Large Language Model (wie die textbasierten Versionen von GPT-4) verarbeitet nur Textdaten. Obwohl es kreative Geschichten oder Code generieren kann, kann es kein Bild „sehen“. Ein VLM verleiht einem LLM im Grunde Augen.
• VLM vs. Objekt-Erkennung: Herkömmliche Objekt-Erkennungsmodelle, wie frühe YOLO-Versionen, identifizieren, wo sich Objekte befinden und welcher Klasse sie angehören (z. B. „Auto: 99%“). Ein VLM geht weiter, indem es die Beziehungen und Attribute versteht, wie etwa „ein roter Sportwagen, der neben einem Hydranten geparkt ist.“
• VLM vs. Multimodale KI: Multimodale KI ist ein breiterer Dachbegriff. Während alle VLMs multimodal sind (Vision und Sprache kombinieren), sind nicht alle multimodalen Modelle VLMs; einige könnten Audio und Text (wie Spracherkennung) oder Video- und Sensordaten ohne Sprachkomponente kombinieren.

Link to this sectionOpen-Vocabulary-Erkennung mit YOLO#

Moderne VLMs ermöglichen die „Open-Vocabulary“-Erkennung, bei der du Objekte mithilfe von frei formulierten Text-Prompts statt mit vordefinierten Klassen erkennen kannst. Dies ist ein Hauptmerkmal von Modellen wie Ultralytics YOLO-World, das dynamische Klassendefinitionen ohne erneutes Training erlaubt.

Das folgende Beispiel zeigt, wie du das ultralytics-Paket verwendest, um bestimmte Objekte zu erkennen, die per Text beschrieben werden:

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this sectionHerausforderungen und zukünftige Richtungen#

Obwohl sie leistungsstark sind, stehen Vision Language Models vor erheblichen Herausforderungen. Ein großes Problem ist die Halluzination, bei der das Modell selbstbewusst Objekte oder Texte in einem Bild beschreibt, die schlichtweg nicht vorhanden sind. Forscher arbeiten aktiv an Techniken wie Reinforcement Learning from Human Feedback (RLHF), um die Erdung und Genauigkeit zu verbessern.

Eine weitere Herausforderung sind die Rechenkosten. Das Training dieser massiven Modelle erfordert beträchtliche GPU-Ressourcen. Die Veröffentlichung effizienter Architekturen wie Ultralytics YOLO26 trägt jedoch dazu bei, fortschrittliche Vision-Funktionen auf Edge-Geräte zu bringen. Wir erwarten, dass VLMs in Zukunft eine entscheidende Rolle bei robotischen Agenten spielen werden, da sie es Robotern ermöglichen, Objekte auf Basis komplexer mündlicher Anweisungen zu navigieren und zu manipulieren.

Für alle, die an den theoretischen Grundlagen interessiert sind, bietet das originale CLIP-Paper von OpenAI hervorragende Einblicke in das kontrastive Sprach-Bild-Vortraining. Darüber hinaus ist es für die Verfolgung der rasanten Entwicklung dieser Architekturen unerlässlich, sich über CVPR-Konferenzbeiträge auf dem Laufenden zu halten. Um mit dem Training eigener Vision-Modelle zu experimentieren, kannst du die Ultralytics Platform für ein optimiertes Datensatzmanagement und die Modellbereitstellung nutzen.