KI-Anwendungen mit RAG und Computer Vision verbessern

KI-Tools wie ChatGPT oder Gemini zu nutzen, wird immer mehr zu einer gängigen Möglichkeit, Informationen zu finden. Ganz gleich, ob du eine Nachricht verfasst, ein Dokument zusammenfasst oder eine Frage beantwortest: Diese Tools bieten oft eine schnellere und einfachere Lösung.

Wenn du jedoch schon einige Male große Sprachmodelle (LLMs) verwendet hast, sind dir wahrscheinlich ihre Grenzen aufgefallen. Bei sehr spezifischen oder zeitkritischen Fragen können sie falsche Antworten liefern – und dabei oft sehr überzeugend klingen.

Das liegt daran, dass eigenständige LLMs ausschließlich auf die Daten zurückgreifen, mit denen sie trainiert wurden. Sie haben keinen Zugriff auf aktuelle Neuerungen oder spezielles Wissen außerhalb dieses Datensatzes. Daher können ihre Antworten veraltet oder ungenau sein.

Um dieses Problem zu lösen, haben Forschende eine Methode namens Retrieval-Augmented Generation (RAG) entwickelt. RAG erweitert Sprachmodelle, indem es ihnen ermöglicht, bei der Beantwortung von Fragen aktuelle und relevante Informationen aus vertrauenswürdigen Quellen abzurufen.

In diesem Artikel erklären wir, wie RAG funktioniert und wie die Methode KI-Tools verbessert, indem sie relevante, aktuelle Informationen abruft. Außerdem betrachten wir, wie RAG mit Computer Vision zusammenarbeitet – einem Bereich der künstlichen Intelligenz, der visuelle Daten interpretiert –, damit Systeme nicht nur Text, sondern auch Bilder, Layouts und visuell komplexe Dokumente verstehen können.

Retrieval-Augmented Generation (RAG) verstehen#

Wenn wir einem KI-Chatbot eine Frage stellen, erwarten wir in der Regel mehr als eine Antwort, die sich gut anhört. Eine gute Antwort sollte idealerweise klar, korrekt und wirklich hilfreich sein. Dafür braucht das KI-Modell mehr als Sprachkenntnisse: Es benötigt auch Zugriff auf die passenden Informationen, insbesondere bei speziellen oder zeitkritischen Themen.

RAG ist eine Technik, die diese Lücke schließt. Sie kombiniert die Fähigkeit eines Sprachmodells, Text zu verstehen und zu erzeugen, mit dem Abruf relevanter Informationen aus externen Quellen. Statt sich ausschließlich auf seine Trainingsdaten zu verlassen, ruft das Modell beim Formulieren seiner Antwort aktiv unterstützende Inhalte aus vertrauenswürdigen Wissensdatenbanken ab.

Abb. 1. Wichtige Anwendungsfälle für RAG. Abbildung von der Autorin oder dem Autor.

Du kannst es dir so vorstellen, als würdest du jemandem eine Frage stellen und die Person vor der Antwort ein zuverlässiges Nachschlagewerk konsultieren lassen. Die Antwort ist weiterhin in eigenen Worten formuliert, stützt sich aber auf die relevantesten und aktuellsten Informationen.

Mit diesem Ansatz können LLMs vollständigere, genauere und besser auf die Frage der jeweiligen Person zugeschnittene Antworten geben. Dadurch sind sie in realen Anwendungen, in denen Genauigkeit wirklich zählt, deutlich zuverlässiger.

Ein Blick auf die Funktionsweise von RAG#

RAG verbessert die Antworten großer Sprachmodelle durch zwei zentrale Schritte: Informationsabruf und Textgenerierung. Zunächst ruft das Modell relevante Informationen aus einer externen Wissensdatenbank ab. Anschließend nutzt es diese Informationen, um eine gut formulierte, kontextbezogene Antwort zu erzeugen.

Schauen wir uns ein einfaches Beispiel an, um den Ablauf zu veranschaulichen. Stell dir vor, du nutzt einen KI-Assistenten, um deine persönlichen Finanzen zu verwalten, und möchtest prüfen, ob du dein Ausgabenziel für den Monat eingehalten hast.

Der Ablauf beginnt mit einer Frage an den Assistenten, etwa: „Habe ich diesen Monat mein Budget eingehalten?“ Statt sich nur auf das Wissen aus dem Training zu verlassen, nutzt das System eine Abrufkomponente, um deine aktuellen Finanzunterlagen zu durchsuchen, zum Beispiel Kontoauszüge oder Transaktionsübersichten. Dabei ermittelt es die Absicht hinter deiner Frage und sammelt die relevantesten Informationen.

Sobald diese Informationen vorliegen, übernimmt das Sprachmodell. Es verarbeitet sowohl deine Frage als auch die aus deinen Unterlagen abgerufenen Daten, um eine klare und hilfreiche Antwort zu formulieren. Statt Rohdaten aufzulisten, fasst die Antwort deine Ausgaben zusammen und liefert eine konkrete, aussagekräftige Erkenntnis – etwa, ob du dein Ziel erreicht hast, und welche Ausgabenkategorien besonders ins Gewicht fallen.

Mit diesem Ansatz kann das LLM Antworten liefern, die nicht nur korrekt sind, sondern auch auf deinen tatsächlichen, aktuellen Informationen beruhen. Das macht die Erfahrung wesentlich hilfreicher als bei einem Modell, das ausschließlich mit statischen Trainingsdaten arbeitet.

Abb. 2. Die Funktionsweise von RAG verstehen.

Warum multimodale RAG-Systeme benötigt werden#

Informationen liegen nicht immer als Klartext vor. Von medizinischen Aufnahmen und Diagrammen bis hin zu Präsentationsfolien und gescannten Dokumenten enthalten visuelle Darstellungen oft wichtige Details. Herkömmliche LLMs, die hauptsächlich dafür entwickelt wurden, Text zu lesen und zu verstehen, haben mit solchen Inhalten möglicherweise Schwierigkeiten.

RAG kann jedoch zusammen mit Computer Vision eingesetzt werden, um diese Lücke zu schließen. Werden beide kombiniert, entsteht ein sogenanntes multimodales RAG-System – eine Lösung, die sowohl Text als auch visuelle Inhalte verarbeiten kann und KI-Chatbots dabei hilft, genauere und vollständigere Antworten zu geben.

Im Zentrum dieses Ansatzes stehen Vision-Language-Modelle (VLMs), die dafür ausgelegt sind, beide Arten von Eingaben zu verarbeiten und Schlussfolgerungen daraus zu ziehen. Dabei ruft RAG die relevantesten Informationen aus großen Datenquellen ab, während das durch Computer Vision unterstützte VLM Bilder, Layouts und Diagramme interpretiert.

Das ist besonders nützlich bei Dokumenten aus der Praxis, etwa gescannten Formularen, medizinischen Berichten oder Präsentationsfolien, in denen wichtige Details sowohl im Text als auch in visuellen Elementen enthalten sein können. Analysiert ein multimodales System beispielsweise ein Dokument mit Bildern, Tabellen und Absätzen, kann es visuelle Elemente extrahieren, deren Inhalt zusammenfassen und mit dem umgebenden Text verknüpfen. So entsteht eine vollständigere und hilfreichere Antwort.

Abb. 3. Multimodales RAG nutzt Bilder und Text, um bessere Antworten zu geben.

Anwendungen von RAG für visuelle Daten#

Nachdem wir besprochen haben, was RAG ist und wie es mit Computer Vision zusammenarbeitet, sehen wir uns Beispiele aus der Praxis und Forschungsprojekte an, die den Einsatz dieses Ansatzes veranschaulichen.

Visuelle Dokumente mit VisRAG verstehen#

Angenommen, du möchtest Erkenntnisse aus einem Finanzbericht oder einem gescannten Rechtsdokument gewinnen. Solche Dateien enthalten oft nicht nur Text, sondern auch Tabellen, Diagramme und Layouts, die die Informationen verständlicher machen. Ein einfaches Sprachmodell könnte diese visuellen Elemente übersehen oder falsch interpretieren, was zu unvollständigen oder ungenauen Antworten führt.

VisRAG wurde von Forschenden entwickelt, um diese Herausforderung anzugehen. Die RAG-Pipeline basiert auf einem VLM und behandelt jede Seite als Bild, statt nur den Text zu verarbeiten. Dadurch kann das System sowohl den Inhalt als auch dessen visuelle Struktur verstehen. So findet es die relevantesten Stellen und liefert klarere, genauere Antworten, die den gesamten Dokumentkontext berücksichtigen.

Abb. 4. VisRAG kann Dokumente als Bilder lesen und so Textinhalte und Layout erfassen.

Visuelle Fragebeantwortung mit RAG#

Visuelle Fragebeantwortung (VQA) ist eine Aufgabe, bei der ein KI-System Fragen zu Bildern beantwortet. Viele bestehende VQA-Systeme konzentrieren sich darauf, Fragen zu einem einzelnen Dokument zu beantworten, ohne nach zusätzlichen Informationen zu suchen. Das bezeichnet man als geschlossenes Szenario.

VDocRAG ist ein RAG-Framework, das einen praxisnäheren Ansatz verfolgt. Es verbindet VQA mit der Möglichkeit, zunächst relevante Dokumente abzurufen. Das ist in realen Situationen nützlich, in denen sich die Frage einer Person auf eines von vielen Dokumenten beziehen kann und das System vor der Antwort das passende Dokument finden muss. Dazu nutzt VDocRAG VLMs, um Dokumente als Bilder zu analysieren und sowohl deren Text als auch die visuelle Struktur zu bewahren.

Dadurch ist VDocRAG besonders wirkungsvoll in Bereichen wie der Unternehmenssuche, der Dokumentenautomatisierung und dem Kundensupport. Teams können damit schnell Antworten aus komplexen, visuell formatierten Dokumenten wie Handbüchern oder Richtliniendateien extrahieren. Dabei ist das Verständnis des Layouts genauso wichtig wie das Lesen des Textes.

Abb. 5. Der Unterschied zwischen VDocRAG und LLM-basierten Lösungen.

Bildunterschriften mit RAG verbessern#

Bei der Erstellung von Bildunterschriften wird eine schriftliche Beschreibung der Vorgänge in einem Bild generiert. Das Verfahren kommt in vielen Bereichen zum Einsatz – von der besseren Barrierefreiheit von Online-Inhalten über die Bildersuche bis hin zur Unterstützung von Systemen zur Inhaltsmoderation und für Empfehlungen.

Genaue Bildunterschriften zu generieren, ist für KI-Modelle jedoch nicht immer einfach. Besonders schwierig wird es, wenn das Bild etwas zeigt, das sich von den Trainingsdaten des Modells unterscheidet. Viele Systeme zur Bildunterschriftenerstellung stützen sich stark auf ihre Trainingsdaten. Bei unbekannten Szenen können ihre Beschreibungen daher vage oder ungenau ausfallen.

Um dieses Problem anzugehen, entwickelten Forschende Re-ViLM, eine Methode, die Retrieval-Augmented Generation (RAG) in die Erstellung von Bildunterschriften einbindet. Statt eine Bildunterschrift von Grund auf zu generieren, ruft Re-ViLM ähnliche Bild-Text-Paare aus einer Datenbank ab und nutzt sie als Grundlage für die Ausgabe.

Dieser auf Informationsabruf beruhende Ansatz verankert die Beschreibungen des Modells in relevanten Beispielen und verbessert so Genauigkeit und Sprachfluss. Erste Ergebnisse zeigen, dass Re-ViLM mithilfe echter Beispiele natürlichere, kontextbezogene Bildunterschriften generiert und vage oder ungenaue Beschreibungen reduziert.

Abb. 6. Re-ViLM verbessert Bildunterschriften durch den Abruf visueller Textbeispiele.

Vor- und Nachteile von RAG beim Verstehen visueller Daten#

Hier ein kurzer Überblick über die Vorteile des Einsatzes von Retrieval-Augmented Generation zum Abrufen und Nutzen visueller Informationen:

• Verbesserte Möglichkeiten zur Zusammenfassung: Zusammenfassungen können Erkenntnisse aus visuellen Elementen wie Diagrammtrends oder Bestandteilen von Infografiken einbeziehen und sich nicht nur auf Text stützen.
• Leistungsfähigere Suche und Informationsbeschaffung: Durch visuelles Verständnis können Abrufschritte relevante Seiten mit visuellen Inhalten erkennen, selbst wenn der Text keine passenden Schlüsselwörter enthält.
• Unterstützung für gescannte, handschriftliche oder bildbasierte Dokumente: RAG-Pipelines mit VLMs können Inhalte verarbeiten, die für rein textbasierte Modelle unlesbar wären.

Trotz dieser Vorteile gibt es einige Einschränkungen, die du beim Einsatz von RAG für visuelle Daten berücksichtigen solltest. Hier sind einige der wichtigsten:

• Hoher Rechenaufwand: Die Analyse von Bildern und Text benötigt mehr Speicher und Rechenleistung, was die Leistung verlangsamen oder die Kosten erhöhen kann.
• Bedenken hinsichtlich Datenschutz und Sicherheit: Visuelle Dokumente können sensible Informationen enthalten, insbesondere in Bereichen wie dem Gesundheitswesen oder der Finanzbranche. Das erschwert die Arbeitsabläufe für Informationsabruf und Verarbeitung.
• Längere Inferenzzeiten: Da die visuelle Verarbeitung zusätzliche Komplexität mit sich bringt, kann die Antwortgenerierung länger dauern als bei rein textbasierten Systemen.

Die wichtigsten Erkenntnisse#

Retrieval-Augmented Generation verbessert die Antworten großer Sprachmodelle, indem die Modelle relevante, aktuelle Informationen aus externen Quellen abrufen können. In Verbindung mit Computer Vision können diese Systeme nicht nur Text, sondern auch visuelle Inhalte wie Diagramme, Tabellen, Bilder und gescannte Dokumente verarbeiten. Das führt zu genaueren und ausgewogeneren Antworten.

Dieser Ansatz macht LLMs besser für Aufgaben aus der Praxis geeignet, bei denen komplexe Dokumente eine Rolle spielen. Indem diese Modelle Informationsabruf und visuelles Verständnis verbinden, können sie vielfältige Formate effektiver interpretieren und Erkenntnisse liefern, die im praktischen Alltag nützlicher sind.

Werde Teil unserer wachsenden Community! In unserem GitHub-Repository kannst du tiefer in das Thema KI einsteigen. Möchtest du eigene Computer-Vision-Projekte starten? Informiere dich über unsere Lizenzoptionen. Auf unseren Lösungsseiten erfährst du mehr über KI im Gesundheitswesen und Computer Vision im Einzelhandel.