Context Rot

La pourriture du contexte désigne la perte graduelle de fiabilité qui se produit lorsqu'un modèle d'IA reçoit plus de contexte qu'il ne peut en utiliser efficacement. Même lorsqu'une fenêtre de contexte annoncée peut techniquement contenir des centaines de milliers de jetons, un grand modèle de langage peut omettre des faits pertinents, suivre des instructions obsolètes ou raisonner avec moins de précision à mesure que l'entrée grandit. Une étude Chroma sur la pourriture du contexte de 2025 a observé cette performance non uniforme sur 18 modèles et plusieurs tâches contrôlées. (trychroma.com)

Comment survient la dégradation du contexte#

Les entrées longues imposent de plus grandes exigences au mécanisme d'attention du modèle. Des preuves importantes doivent rivaliser avec des instructions répétées, des documents non pertinents, des sorties d'outils et des tours de conversation plus anciens. La position du contexte, la similarité sémantique, les faits contradictoires et la complexité des tâches peuvent tous influencer ce que le modèle utilise.

Le référentiel de contexte long RULER de 2024 a révélé que les modèles performants sur une simple récupération déclinaient souvent à mesure que la longueur de la séquence et la complexité de la tâche augmentaient. Le référentiel NoLiMa de 2025 a mis en évidence des baisses plus importantes lorsque la recherche d'une réponse nécessitait un raisonnement sémantique plutôt qu'une correspondance de mots identiques. Il n'y a donc pas de nombre de jetons universel — y compris pour les modèles Gemini — auquel commence la pourriture du contexte ; le seuil dépend du modèle, de la structure des invites et de la tâche. (arxiv.org)

Exemples concrets#

• Assistants de support client : Un chatbot doté de plusieurs années de tickets peut privilégier une politique obsolète ou manquer une mise à jour récente de compte. Des recherches utilisant la mémoire conversationnelle LongMemEval et le référentiel LoCoMo multimodal montrent que l'extraction, la mise à jour et le raisonnement sur de longs historiques d'interactions restent complexes. (arxiv.org)
• Agents d'inspection visuelle : Un modèle vision-langage surveillant une usine peut devenir moins fiable si chaque image, détection et journal de maintenance est placé dans une seule invite. Un meilleur flux de travail utilise Ultralytics YOLO26 pour extraire des faits visuels concis avant le raisonnement du modèle de langage.
• Agents de codage : Charger un dépôt entier, chaque définition d'outil et l'historique complet du terminal peut masquer l'objectif actuel. Les conseils d'ingénierie de contexte d'Anthropic recommandent de sélectionner le contexte, tandis que son approche Agent Skills charge des ressources détaillées uniquement en cas de besoin. (anthropic.com)

Ce flux de travail de prédiction YOLO démontre comment convertir des détections brutes en un contexte compact et structuré :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Comment réduire la dégradation du contexte#

• Récupérer uniquement les preuves pertinentes : Utilisez le découpage sémantique et un réclasseur au lieu d'envoyer tous les documents disponibles.
• Compresser les informations plus anciennes : Remplacez les longs historiques par des résumés vérifiés, des décisions et des tâches non résolues. La recherche suggère que la longueur d'entrée peut réduire les performances même après une récupération réussie. (arxiv.org)
• Préserver les préfixes stables : La mise en cache des invites OpenAI et la mise en cache du contexte Gemini peuvent réduire les coûts de traitement répété, bien que la mise en cache seule n'améliore pas la qualité du contexte.
• Utiliser des fenêtres glissantes : Google recommande la compression de la fenêtre de contexte pour les longues sessions en direct, en conservant les informations récentes tout en supprimant les jetons plus anciens. (ai.google.dev)
• Évaluer à des longueurs réalistes : Appliquez la surveillance des modèles et reproduisez des tests contrôlés avec la boîte à outils ouverte sur la pourriture du contexte.

La pourriture du contexte diffère de l'hallucination, qui est une sortie non prise en charge ; de l'oubli catastrophique, qui modifie les connaissances du modèle pendant l'entraînement ; et de la dérive des données, qui reflète l'évolution des entrées de production. La pourriture du contexte est principalement un échec d'inférence lié à la sélection du contexte et au raisonnement, faisant de l'ingénierie de contexte efficace sa principale défense.