Retrieval Augmented Generation (RAG)

Erforsche, wie Retrieval Augmented Generation (RAG) LLMs mit Echtzeitdaten optimiert. Lerne, multimodale Pipelines mit Ultralytics YOLO26 für visuelles RAG aufzubauen.

Retrieval Augmented Generation (RAG) ist eine fortgeschrittene Technik im Bereich der künstlichen Intelligenz, die die Ausgabe eines Large Language Model (LLM) optimiert, indem sie auf eine maßgebliche Wissensbasis außerhalb der Trainingsdaten verweist. Traditionelle generative Modelle stützen sich ausschließlich auf statische Informationen, die während ihres anfänglichen Trainings gelernt wurden, was zu veralteten Antworten oder selbstbewussten Ungenauigkeiten, bekannt als hallucinations, führen kann. RAG schließt diese Lücke, indem es relevante, aktuelle Informationen aus externen Quellen – wie Unternehmensdatenbanken, aktuellen Nachrichten oder technischen Handbüchern – abruft und sie dem Modell vor der Generierung einer Antwort als Kontext zur Verfügung stellt. Dieser Prozess stellt sicher, dass die Ausgaben der KI nicht nur sprachlich kohärent, sondern auch faktisch korrekt und in spezifischen Daten verankert sind.

Wie RAG-Systeme funktionieren#

Die Architektur eines RAG-Systems umfasst typischerweise zwei Hauptphasen: den Abruf (Retrieval) und die Generierung. Dieser Arbeitsablauf ermöglicht es Entwicklern, ein foundation model beizubehalten, ohne den teuren Bedarf an häufigem Neutraining.

Retrieval: Wenn ein Benutzer eine Anfrage sendet, führt das System zunächst eine semantic search über ein spezialisiertes Speichersystem namens vector database durch. Diese Datenbank enthält Daten, die in numerische Repräsentationen, sogenannte embeddings, umgewandelt wurden, wodurch das System konzeptionell ähnliche Informationen anstelle von reinen Schlüsselwörtern finden kann.
Generation: Die beim Abruf gefundenen relevanten Dokumente oder Datenschnipsel werden mit der ursprünglichen Frage des Benutzers kombiniert. Dieser angereicherte Prompt wird dann an das generative Modell gesendet. Das Modell verwendet diesen bereitgestellten Kontext, um eine Antwort zu synthetisieren, wodurch sichergestellt wird, dass die Antwort auf den abgerufenen Fakten beruht. Für einen tieferen Einblick in die Mechanik bietet IBM provides a comprehensive guide on RAG workflows.

Visual RAG: Integration von Computer Vision#

Während RAG traditionell textbasiert ist, hat der Aufstieg des multi-modal learning „Visual RAG“ eingeführt. In diesem Szenario fungieren computer vision-Modelle als Abrufmechanismus. Sie analysieren Bilder oder Videostreams, um strukturierte Textdaten zu extrahieren – wie Objektnamen, Anzahlen oder Aktivitäten –, die dann in ein LLM eingespeist werden, um Fragen über die visuelle Szene zu beantworten.

Zum Beispiel kann ein Entwickler YOLO26 verwenden, um Objekte in einem Bild zu erkennen und diese Liste von Objekten an ein Textmodell zu übergeben, um einen beschreibenden Bericht zu erstellen.

from ultralytics import YOLO

# Load the YOLO26 model for state-of-the-art detection
model = YOLO("yolo26n.pt")

# Perform inference to 'retrieve' visual facts from an image
results = model("https://ultralytics.com/images/bus.jpg")

# Extract class names to build a text context for an LLM
detected_classes = [model.names[int(c)] for c in results[0].boxes.cls]
context_string = f"The scene contains: {', '.join(detected_classes)}."

print(context_string)
# Output example: "The scene contains: bus, person, person, person."

Praxisanwendungen#

RAG transformiert Branchen, indem es AI agents ermöglicht, sicher auf proprietäre oder Echtzeitdaten zuzugreifen.

Unternehmenswissensdatenbanken: Unternehmen nutzen RAG, um interne Chatbots zu erstellen, die Mitarbeiterfragen zu HR-Richtlinien oder technischer Dokumentation beantworten. Durch die Verbindung eines LLM mit einem Live-Dokumentenarchiv vermeidet das System die Bereitstellung veralteter Richtlinieninformationen. Mehr zu Unternehmensimplementierungen finden Sie in Google Cloud's overview of RAG in Vertex AI.
Klinische Entscheidungsunterstützung: Bei AI in healthcare können RAG-Systeme Patientenverläufe und aktuelle medizinische Forschungspapiere abrufen, um Ärzte bei der Diagnose zu unterstützen und sicherzustellen, dass die Beratung die neuesten klinischen Studien berücksichtigt.
Smart Retail Assistants: Anwendungen mit AI in retail nutzen RAG, um Live-Bestandsdatenbanken zu überprüfen. Wenn ein Kunde einen Chatbot fragt: „Habt ihr diesen Laufschuh in Größe 43?“, ruft das Modell vor der Antwort Echtzeit-Lagerbestände ab, was Frustration über ausverkaufte Artikel verhindert.

RAG vs. Fine-Tuning#

Es ist entscheidend, RAG von fine-tuning zu unterscheiden, da sie unterschiedliche Probleme lösen.

RAG (Retrieval Augmented Generation): Am besten geeignet für den Zugriff auf dynamische, sich häufig ändernde Daten (z. B. Aktienkurse, Nachrichten) oder private Daten, die nicht im öffentlichen Trainingsset enthalten sind. Der Fokus liegt auf der Bereitstellung von neuen Informationen zur Laufzeit.
Fine-Tuning: Am besten geeignet zur Anpassung des Verhaltens, des Stils oder der Terminologie des Modells. Es beinhaltet die Aktualisierung der model weights auf einem spezifischen Datensatz. Während Fine-Tuning einem Modell hilft, ein bestimmtes Sprachmuster (wie medizinischen Jargon) zu erlernen, gewährt es keinen Zugriff auf Echtzeit-Fakten. Siehe OpenAI's guide on fine-tuning vs. RAG für Entscheidungsfindungs-Frameworks.