Context Rot

Context Rot beschreibt den schleichenden Verlust an Zuverlässigkeit, der auftritt, wenn ein KI-Modell mehr Kontext erhält, als es effektiv verarbeiten kann. Selbst wenn ein beworbenes context window technisch hunderttausende Token fassen kann, könnte ein large language model relevante Fakten übersehen, veralteten Anweisungen folgen oder bei wachsender Eingabemenge weniger präzise Schlussfolgerungen ziehen. Eine Chroma-Studie zu Context Rot aus 2025 beobachtete diese uneinheitliche Leistung über 18 Modelle und verschiedene kontrollierte Aufgaben hinweg. (trychroma.com)

Link to this sectionWie Context Rot entsteht#

Lange Eingaben stellen höhere Anforderungen an den attention mechanism des Modells. Wichtige Belege müssen mit wiederholten Anweisungen, irrelevanten Dokumenten, Tool-Outputs und älteren Konversationsverläufen konkurrieren. Die Kontextposition, semantische Ähnlichkeit, widersprüchliche Fakten und die Aufgabenkomplexität können alle beeinflussen, was das Modell tatsächlich verwendet.

Der 2024 RULER long-context benchmark ergab, dass Modelle, die bei einfachem Retrieval gut abschnitten, bei zunehmender Sequenzlänge und Aufgabenkomplexität oft schwächelten. Der 2025 NoLiMa benchmark zeigte größere Einbußen, wenn das Finden einer Antwort eher semantisches Schlussfolgern erforderte als nur den Abgleich identischer Wörter. Es gibt daher keine universelle Token-Anzahl – auch nicht für Gemini-Modelle –, bei der Context Rot einsetzt; der Schwellenwert hängt vom Modell, der Prompt-Struktur und der Aufgabe ab. (arxiv.org)

Link to this sectionBeispiele aus der Praxis#

• Kundensupport-Assistenten: Ein Chatbot, der mit jahrelangen Tickets gefüttert wird, priorisiert möglicherweise eine veraltete Richtlinie oder übersieht ein aktuelles Konto-Update. Untersuchungen mit dem LongMemEval conversational memory und dem multimodalen LoCoMo benchmark zeigen, dass das Extrahieren, Aktualisieren und Schlussfolgern über lange Interaktionsverläufe hinweg weiterhin herausfordernd bleibt. (arxiv.org)
• Visuelle Inspektions-Agenten: Ein vision-language model, das eine Fabrik überwacht, kann unzuverlässiger werden, wenn jeder Frame, jede Erkennung und jedes Wartungsprotokoll in einen einzigen Prompt gepackt wird. Ein besserer Workflow nutzt Ultralytics YOLO26, um prägnante visuelle Fakten vor dem Schlussfolgern durch das Sprachmodell zu extrahieren.
• Coding-Agenten: Das Laden eines gesamten Repositories, jeder Tool-Definition und der vollständigen Terminal-Historie kann das aktuelle Ziel verdecken. Anthropic’s context-engineering guidance empfiehlt, den Kontext zu kuratieren, während dessen Agent Skills approach detaillierte Ressourcen nur bei Bedarf lädt. (anthropic.com)

Dieser YOLO predict workflow demonstriert, wie man rohe Erkennungen in kompakten, strukturierten Kontext umwandelt:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Link to this sectionWie du Context Rot reduzierst#

• Retrieve only relevant evidence: Nutze semantic chunking und einen reranker, anstatt jedes verfügbare Dokument zu senden.
• Compress older information: Ersetze lange Verläufe durch verifizierte Zusammenfassungen, Entscheidungen und ungelöste Aufgaben. Forschungsergebnisse deuten darauf hin, dass die Eingabelänge die Leistung selbst nach erfolgreichem Abruf beeinträchtigen kann. (arxiv.org)
• Stabile Präfixe bewahren: OpenAI prompt caching und Gemini context caching können Kosten für wiederholte Verarbeitungen senken, obwohl Caching allein die Kontextqualität nicht verbessert.
• Sliding Windows verwenden: Google empfiehlt context-window compression for long live sessions, wobei aktuelle Informationen behalten und ältere Token verworfen werden. (ai.google.dev)
• Bei realistischen Längen evaluieren: Wende model monitoring an und reproduziere kontrollierte Tests mit dem open context rot toolkit.

Context Rot unterscheidet sich von Halluzination, die einen nicht unterstützten Output darstellt; von katastrophalem Vergessen, das das Modellwissen während des Trainings verändert; und von Data Drift, der sich ändernde Produktionsdaten widerspiegelt. Context Rot ist primär ein Fehler der Kontextauswahl und des Schlussfolgerns während der Inferenz, was effektives context engineering zur wichtigsten Verteidigung macht.