Agentic RAG

Agentisches RAG ist die Generierung mit Abrufunterstützung (RAG), bei der ein KI-Agent – ein großes Sprachmodell (LLM), das plant und Werkzeuge in einer Schleife aufruft – entscheidet, ob Informationen abgerufen werden sollen, welche Quellen durchsucht werden und ob die Ergebnisse für eine Antwort ausreichen. Standard-RAG führt einen festgelegten Durchlauf aus: Frage einbetten, die relevantesten Textpassagen abrufen, Antwort generieren. Ein Agent kann eine Frage in Teilfragen aufteilen, eine an einen Dokumentenindex und eine andere an eine SQL-Datenbank oder Websuche senden, ein irrelevantes Ergebnis erkennen, die Suchanfrage umformulieren und erneut suchen. Eine Übersicht über agentisches RAG aus dem Jahr 2025 ordnet diese Verhaltensweisen vier agentischen Entwurfsmustern zu: Reflexion, Planung, Werkzeugnutzung und Zusammenarbeit mehrerer Agenten.

So funktioniert agentisches RAG#

Das Modell erreicht seine Abrufwerkzeuge über Funktionsaufrufe. Jedes Werkzeug – etwa eine Vektorsuche in Dokumenten, eine Datenbankabfrage oder eine Websuche – wird durch einen Namen und ein Parameterschema beschrieben. Das Modell gibt einen strukturierten Aufruf aus, sobald es ein Werkzeug verwenden möchte. Das Model Context Protocol (MCP) bietet Agenten eine standardisierte Möglichkeit, solche Werkzeuge anzubinden. Die Steuerungsschleife folgt dem ReAct-Muster, bei dem sich Überlegungsschritte und Aktionen abwechseln:

Eine Frage wie „Welche Lieferanten hatten in diesem Quartal mehr verspätete Lieferungen als im letzten, und welche Vertragsstrafen sind in ihren Verträgen vorgesehen?“ zeigt, warum die Schleife wichtig ist. Ein einzelner Abrufdurchlauf bettet die ganze Frage ein und liefert Vertragsabschnitte, in denen verspätete Lieferungen allgemein erwähnt werden. Ein Agent fragt zunächst die Lieferdatenbank nach den Zahlen pro Lieferant ab, durchsucht dann für jeden Lieferanten mit einem Anstieg den Vertragsindex und führt beide Quellen in seiner Antwort zusammen.

Werkzeuge sind nicht auf Text beschränkt. Wenn eine Antwort davon abhängt, was eine Kamera gerade sieht, kann ein Agent ein Ultralytics YOLO26-Modell als Werkzeug aufrufen: Die Vorhersage für das neueste Bild liefert alle erkannten Objekte, und results[0].summary() wandelt die Erkennungen in eine Liste von Wörterbüchern mit Klassennamen, Konfidenzwerten und Boxkoordinaten um, die der Agent wie jedes andere abgerufene Ergebnis liest.

Agentisches RAG im Vergleich zu verwandten Ansätzen#

• Standard-RAG: Ruft Informationen pro Frage einmal über eine festgelegte Pipeline ab. Latenz und Kosten sind gering und vorhersehbar. Der Ansatz eignet sich für Fragen, die sich mit einer oder zwei Textpassagen beantworten lassen.
• Self-RAG und Corrective RAG: Self-RAG (2023) trainiert ein Modell darauf, Reflexionstoken auszugeben, die darüber entscheiden, wann Informationen abgerufen und die eigene Ausgabe bewertet werden. Corrective RAG (2024) ergänzt einen Abrufbewerter, der eine Websuche auslöst, wenn die abgerufenen Dokumente schlecht bewertet werden. Beide integrieren jeweils ein agentisches Verhalten in eine ansonsten festgelegte Pipeline.
• GraphRAG: Ruft Entitäten, Beziehungen und Zusammenfassungen von Gemeinschaften aus einem aus den Dokumenten erstellten Wissensgraphen ab. Ein Agent kann Graphabfragen als eines seiner Werkzeuge aufrufen.
• Agentische Arbeitsabläufe: Die übergeordnete Familie mehrstufiger LLM-Systeme, zu der agentisches RAG als auf Informationssuche ausgerichteter Ansatz gehört.
• Agenten für tiefgehende Recherche: Agentisches RAG, das für eine Frage auf viele Suchvorgänge ausgeweitet und oft auf mehrere Agenten verteilt wird. Im Multi-Agenten-Recherchesystem von Anthropic verteilt ein führender Agent mit Claude Opus 4 Teilaufgaben an parallel arbeitende Claude-Sonnet-4-Unteragenten. Bei Anthropic lag das System in der internen Recherchebewertung um 90.2 % über einem einzelnen Opus-4-Agenten.

Anwendungen in der Praxis#

• Rechercheassistenten für Unternehmen: Beantworten Fragen, die ein Data Warehouse, Dokumentenspeicher und das Web umfassen, etwa zum Vergleich interner Verkaufszahlen mit den veröffentlichten Ergebnissen eines Mitbewerbers.
• Kundensupport: Ein Agent prüft den Bestellstatus in einem System, ruft die Rückgabebedingungen aus einem anderen ab und entscheidet vor der Antwort, ob eine Erstattung infrage kommt.
• Fehlerbehebung in der Fertigung: Ein Assistent ruft das Wartungsprotokoll und die Seiten des Handbuchs für die in einem Störungsbericht genannte Maschine ab. Wenn das Handbuch den Fehlercode nicht behandelt, durchsucht der Assistent frühere Störungstickets.
• Agentisches Programmieren: Programmieragenten durchsuchen ein Repository, lesen die gefundenen Dateien und suchen mit Namen, die sie dabei entdecken, erneut, bevor sie den Code bearbeiten.

Kosten und Fehlermodi#

Jeder zusätzliche Schritt verursacht einen LLM-Aufruf. Deshalb ist agentisches RAG langsamer und teurer als ein einzelner Durchlauf. Anthropics Analyse seines Multi-Agenten-Recherchesystems ergab, dass Agenten typischerweise etwa viermal so viele Token wie Chatinteraktionen verwenden und Multi-Agenten-Systeme etwa 15-mal so viele. Agenten versagen auch auf Arten, die bei festgelegten Pipelines nicht vorkommen: Sie wiederholen ähnliche Suchanfragen, brechen ab, bevor sie das entscheidende Dokument finden, rufen das falsche Werkzeug auf oder schleppen einen frühen Fehler durch alle weiteren Schritte. Das kann zu selbstsicher vorgetragenen Halluzinationen führen. Produktivsysteme begrenzen die Anzahl der Schritte, protokollieren vollständige Abläufe und bewerten ganze Aktionsfolgen mithilfe der Agentenbewertung. In Anthropics Analyse erklärte die Tokenzahl allein 80 % der Leistungsunterschiede beim Suchbenchmark BrowseComp.