Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) ist ein fortschrittliches Framework zur Optimierung der Ausgabe von Large Language Models (LLMs) durch indem eine maßgebliche Wissensbasis außerhalb der ursprünglichen Trainingsdaten referenziert wird. In standardmäßigen generativen KI-Systemen stützt sich das Modell ausschließlich auf die statischen Informationen, die es während des Trainings gelernt hat, was zu veralteten Antworten oder faktischen Fehlern führen kann, die als Halluzinationen. RAG überbrückt diese Lücke, indem es relevante, aktuelle Informationen aus vertrauenswürdigen externen Quellen abruft und sie dem Modell als Kontext zuführt bevor es eine Antwort generiert. Dieser Prozess bildet die Grundlage für die KI und gewährleistet hohe hohe Genauigkeit und Relevanz, ohne dass ein teures Modellnachschulung.

Wie Retrieval Augmented Generation funktioniert

Der RAG-Workflow integriert zwei Hauptkomponenten: ein Retrievalsystem und ein Generierungsmodell. Diese Synergie verwandelt wie Verarbeitung natürlicher Sprache (NLP) Aufgaben ausgeführt werden.

1. Abruf: Wenn ein Benutzer eine Anfrage stellt, durchsucht das System zunächst eine spezialisierte Wissensbasis, die normalerweise in einer Vektor-Datenbank gespeichert ist. Diese Datenbank enthält Einbettungen - numerischeRepräsentationen von Text oder Daten, die eine effiziente semantische Suche ermöglichen. Der Retriever identifiziert Dokumente oder Datenschnipsel, die der Anfrage des Nutzers semantisch am ähnlichsten sind.
2. Anreicherung: Die abgerufenen Informationen werden dann mit der ursprünglichen Benutzeranfrage kombiniert, indem prompt engineering Techniken. Diese "erweiterte" Eingabeaufforderung versorgt das Modell mit dem notwendigen sachlichen Kontext, der ursprünglich fehlte.
3. Erzeugung: Schließlich wird der angereicherte Prompt an das LLM übergeben. Das Modell verwendet den bereitgestellten Kontext um eine kohärente und sachlich begründete Antwort zu generieren. Führende Frameworks wie LangChain werden häufig verwendet, um diese Schritte nahtlos zu orchestrieren.

Anwendungsfälle in der Praxis

RAG ist in Branchen, in denen sich Daten häufig ändern oder in denen es auf Präzision ankommt, unerlässlich.

• Wissensmanagement im Unternehmen: Unternehmen nutzen RAG zum Betrieb interner Chatbots, die Mitarbeiter unterstützen. Zum Beispiel kann ein HR Assistent die neuesten Dokumente von einem Unternehmensserver abrufen, um Fragen zu Sozialleistungen zu beantworten. Diese wird sichergestellt, dass sich die KI an spezifische Unternehmensprotokolle hält und nicht an allgemeines Internetwissen.
• Klinische Entscheidungshilfe: Im medizinischen Bereich, profitiert KI im Gesundheitswesen erheblich von RAG. Ein System kann die neuesten medizinischen Forschungsergebnisse oder spezifische Patientenakten abrufen, um Ärzte bei der Diagnose zu unterstützen. um Ärzte bei der Diagnose zu unterstützen und sicherzustellen, dass die Vorhersagemodellierung auf dem neuesten Stand der Wissenschaft basiert und nicht auf dem Stichtag des Modells.

RAG in Computer Vision

Während die RAG-Konzepte traditionell textbasiert sind, weiten sie sich auf Computer Vision (CV). In einem multimodalen Modell könnte ein System ähnliche ähnliche Bilder oder visuelle Metadaten zur Unterstützung bei der Objekterkennung oder Klassifizierung zu unterstützen. Ein Beispiel, Die Identifizierung eines seltenen biologischen Exemplars könnte durch den Abruf von Referenzbildern aus einer wissenschaftlichen Datenbank verbessert werden, um um die visuelle Analyse zu ergänzen, die von Modellen wie Ultralytics YOLO11.

RAG vs. Feinabstimmung

Es ist wichtig, die RAG von der Feinabstimmung zu unterscheiden, da sie unterschiedliche Probleme lösen:

• RAG verknüpft ein Modell mit dynamischen, externen Fakten. Es eignet sich am besten für Anwendungen, die aktuelle Informationen und Verifizierbarkeit erfordern. Die internen Parameter des Modells werden dabei nicht verändert.
• Die Feinabstimmung umfasst ein weiteres Training des des Modells auf einen bestimmten Datensatz, um die Modellgewichte anzupassen. Dies ist ideal, um einem Modell einen einen bestimmten Stil, Tonfall oder ein spezielles Aufgabenverhalten beizubringen, aber es ist weniger effektiv für die Pflege einer Wissensbasis von sich schnell ändernden Fakten. Oft verwenden die Entwickler Transfer Learning, um beide Ansätze zu kombinieren für eine optimale Leistung.

Beispiel: Erweitern einer Aufforderung mit Erkennungsdaten

In diesem Python simulieren wir einen grundlegenden RAG-Arbeitsablauf, indem wir ein Objekterkennungsmodell verwenden, um Fakten über ein Bild. Diese Fakten ergänzen dann eine Texteingabeaufforderung, die die Beschreibung auf verifizierte visuelle Daten stützt.

from ultralytics import YOLO

# Load the YOLO11 model acting as our 'retrieval' mechanism for visual facts
model = YOLO("yolo11n.pt")

# Run inference to retrieve content information from the image
results = model("https://ultralytics.com/images/bus.jpg")

# Extract detected classes to augment the prompt
detected_objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
context_string = ", ".join(set(detected_objects))

# Construct the augmented prompt (RAG concept)
prompt = f"Based on the verified presence of {context_string} in the scene, describe the traffic situation."
print(f"Augmented Prompt: {prompt}")