Context Rot

Context rot ist der allmähliche Verlust an Zuverlässigkeit, der auftritt, wenn ein KI-Modell mehr Kontext erhält, als es effektiv nutzen kann. Selbst wenn ein beworbenes context window technisch Hunderttausende von Token fassen kann, übersieht ein large language model mit wachsendem Input möglicherweise relevante Fakten, befolgt veraltete Anweisungen oder schließt weniger präzise. Eine Chroma context rot study aus dem Jahr 2025 beobachtete diese ungleichmäßige Leistung über 18 Modelle und mehrere kontrollierte Aufgaben hinweg. (trychroma.com)

Wie Context Rot entsteht#

Lange Inputs stellen höhere Anforderungen an das attention mechanism des Modells. Wichtige Beweise müssen mit wiederholten Anweisungen, irrelevanten Dokumenten, Tool-Ausgaben und älteren Konversationsverläufen konkurrieren. Kontextposition, semantische Ähnlichkeit, widersprüchliche Fakten und Aufgabenkomplexität können sich alle darauf auswirken, was das Modell verwendet.

Der RULER long-context benchmark aus dem Jahr 2024 ergab, dass Modelle, die bei einfachem Retrieval gut abschnitten, oft nachließen, wenn Sequenzlänge und Aufgabenkomplexität zunahmen. Der NoLiMa benchmark von 2025 zeigte größere Einbußen, wenn das Finden einer Antwort semantisches Schließen statt des Abgleichens identischer Wörter erforderte. Es gibt daher keine universelle Token-Anzahl – auch nicht für Gemini-Modelle –, bei der Context rot einsetzt; der Schwellenwert hängt vom Modell, der Prompt-Struktur und der Aufgabe ab. (arxiv.org)

Beispiele aus der Praxis#

• Kundensupport-Assistenten: Ein Chatbot, dem jahrelange Tickets vorliegen, priorisiert möglicherweise eine veraltete Richtlinie oder verpasst ein aktuelles Konto-Update. Untersuchungen mit dem LongMemEval conversational memory und dem multimodalen LoCoMo benchmark zeigen, dass das Extrahieren, Aktualisieren und Schließen über lange Interaktionsverläufe hinweg eine Herausforderung bleibt. (arxiv.org)
• Visuelle Inspektionsagenten: Ein vision-language model, das eine Fabrik überwacht, kann unzuverlässiger werden, wenn jeder Frame, jede Erkennung und jedes Wartungsprotokoll in einen einzigen Prompt gepackt wird. Ein besserer Workflow nutzt Ultralytics YOLO26, um prägnante visuelle Fakten vor dem Schließen des Sprachmodells zu extrahieren.
• Coding-Agenten: Das Laden eines gesamten Repositorys, jeder Tool-Definition und des vollständigen Terminalverlaufs kann das aktuelle Ziel verdecken. Die Context-Engineering-Leitlinien von Anthropic empfehlen das Kuratieren von Kontext, während der Agent Skills approach detaillierte Ressourcen nur bei Bedarf lädt. (anthropic.com)

Dieser YOLO predict workflow demonstriert die Umwandlung von Roherkennungen in einen kompakten, strukturierten Kontext:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Wie du Context Rot reduzierst#

• Nur relevante Evidenz abrufen: Verwende semantic chunking und einen reranker, anstatt jedes verfügbare Dokument zu senden.
• Ältere Informationen komprimieren: Ersetze lange Verläufe durch verifizierte Zusammenfassungen, Entscheidungen und ungelöste Aufgaben. Untersuchungen deuten darauf hin, dass die Input-Länge die Leistung selbst nach erfolgreichem Retrieval verringern kann. (arxiv.org)
• Stabile Präfixe beibehalten: OpenAI prompt caching und Gemini context caching können die Kosten für wiederholte Verarbeitung senken, obwohl Caching allein die Kontextqualität nicht verbessert.
• Gleitende Fenster verwenden: Google empfiehlt die context-window compression for long live sessions, wobei aktuelle Informationen beibehalten und ältere Token verworfen werden. (ai.google.dev)
• Bei realistischen Längen evaluieren: Wende model monitoring an und reproduziere kontrollierte Tests mit dem open context rot toolkit.

Context rot unterscheidet sich von Halluzination (einem nicht unterstützten Output), katastrophalem Vergessen (das das Modellwissen während des Trainings verändert) und Data Drift (das sich verändernde Produktions-Inputs widerspiegelt). Context rot ist primär ein Inferenzzeit-Fehler der Kontextauswahl und des Schließens, weshalb effektives context engineering seine Hauptverteidigung darstellt.