Context Rot

La dégradation du contexte est la perte progressive de fiabilité qui se produit lorsqu'un modèle d'IA reçoit plus de contexte qu'il ne peut en utiliser efficacement. Même lorsqu'une fenêtre de contexte annoncée peut techniquement contenir des centaines de milliers de jetons, un modèle de langage étendu peut ignorer des faits pertinents, suivre des instructions obsolètes ou raisonner avec moins de précision à mesure que l'entrée augmente. Une étude de Chroma de 2025 sur la dégradation du contexte a observé ces performances non uniformes sur 18 modèles et plusieurs tâches contrôlées. (trychroma.com)

Link to this sectionComment survient la dégradation du contexte#

Les entrées longues imposent des exigences plus élevées au mécanisme d'attention du modèle. Les preuves importantes doivent rivaliser avec des instructions répétées, des documents non pertinents, des sorties d'outils et des tours de conversation plus anciens. La position du contexte, la similarité sémantique, les faits contradictoires et la complexité de la tâche peuvent tous affecter ce que le modèle utilise.

Le benchmark de contexte long RULER de 2024 a révélé que les modèles performants en récupération simple déclinaient souvent à mesure que la longueur des séquences et la complexité des tâches augmentaient. Le benchmark NoLiMa de 2025 a révélé des baisses plus importantes lorsque la recherche d'une réponse nécessitait un raisonnement sémantique plutôt qu'une simple correspondance de mots identiques. Il n'existe donc pas de nombre universel de jetons — y compris pour les modèles Gemini — auquel la dégradation du contexte commence ; le seuil dépend du modèle, de la structure de l'invite et de la tâche. (arxiv.org)

Link to this sectionExemples concrets#

• Assistants de support client : Un chatbot recevant des années de tickets peut privilégier une politique obsolète ou manquer une mise à jour récente de compte. La recherche utilisant la mémoire conversationnelle LongMemEval et le benchmark multimodal LoCoMo montre que l'extraction, la mise à jour et le raisonnement sur de longs historiques d'interaction restent difficiles. (arxiv.org)
• Agents d'inspection visuelle : Un modèle vision-langage surveillant une usine peut devenir moins fiable si chaque image, détection et journal de maintenance est placé dans une seule invite. Un meilleur flux de travail utilise Ultralytics YOLO26 pour extraire des faits visuels concis avant le raisonnement du modèle de langage.
• Agents de codage : Charger un référentiel entier, chaque définition d'outil et l'historique complet du terminal peut masquer l'objectif actuel. Les conseils d'ingénierie de contexte d'Anthropic recommandent de conserver le contexte, tandis que son approche Agent Skills charge les ressources détaillées uniquement lorsque nécessaire. (anthropic.com)

Ce flux de travail de prédiction YOLO démontre la conversion de détections brutes en un contexte structuré et compact :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Link to this sectionComment réduire la dégradation du contexte#

• Récupérer uniquement les preuves pertinentes : Utilise le découpage sémantique et un re-classeur au lieu d'envoyer chaque document disponible.
• Compresser les informations plus anciennes : Remplace les longs historiques par des résumés vérifiés, des décisions et des tâches non résolues. La recherche suggère que la longueur de l'entrée peut réduire les performances même après une récupération réussie. (arxiv.org)
• Préserver les préfixes stables : La mise en cache d'invites d'OpenAI et la mise en cache de contexte de Gemini peuvent réduire les coûts de traitement répété, bien que la mise en cache seule n'améliore pas la qualité du contexte.
• Utiliser des fenêtres glissantes : Google recommande la compression de fenêtre de contexte pour les sessions longues en direct, en conservant les informations récentes tout en supprimant les jetons plus anciens. (ai.google.dev)
• Évaluer à des longueurs réalistes : Applique le suivi de modèle et reproduis des tests contrôlés avec le kit d'outils open context rot.

La dégradation du contexte diffère de l'hallucination, qui est une sortie non prise en charge ; de l'oubli catastrophique, qui modifie les connaissances du modèle pendant l'entraînement ; et de la dérive des données, qui reflète l'évolution des entrées de production. La dégradation du contexte est principalement un échec de sélection et de raisonnement du contexte au moment de l'inférence, faisant de l'ingénierie de contexte efficace sa principale défense.