Context Rot

Il context rot è la perdita graduale di affidabilità che si verifica quando un modello di IA riceve più contesto di quanto riesca a utilizzare in modo efficace. Anche quando una finestra di contesto dichiarata può tecnicamente contenere centinaia di migliaia di token, un modello linguistico di grandi dimensioni potrebbe trascurare fatti rilevanti, seguire istruzioni obsolete o ragionare in modo meno accurato all'aumentare dell'input. Uno studio del 2025 sul context rot di Chroma ha osservato queste prestazioni non uniformi su 18 modelli e diversi compiti controllati. (trychroma.com)

Link to this sectionCome si verifica il Context Rot#

Gli input lunghi pongono maggiori richieste al meccanismo di attenzione del modello. Prove importanti devono competere con istruzioni ripetute, documenti irrilevanti, output di strumenti e turni di conversazione precedenti. La posizione del contesto, la similarità semantica, fatti contrastanti e la complessità del compito possono influenzare ciò che il modello utilizza.

Il benchmark RULER per contesti lunghi del 2024 ha rilevato che i modelli con buone prestazioni nel recupero semplice spesso mostravano un calo all'aumentare della lunghezza della sequenza e della complessità del compito. Il benchmark NoLiMa del 2025 ha rivelato cali maggiori quando trovare una risposta richiedeva un ragionamento semantico piuttosto che la corrispondenza di parole identiche. Non esiste quindi un numero universale di token—inclusi i modelli Gemini—in cui inizia il context rot; la soglia dipende dal modello, dalla struttura del prompt e dal compito. (arxiv.org)

Link to this sectionEsempi dal mondo reale#

• Assistenti all'assistenza clienti: Un chatbot a cui vengono forniti anni di ticket potrebbe dare priorità a una politica obsoleta o perdere un recente aggiornamento dell'account. La ricerca che utilizza la memoria conversazionale LongMemEval e il benchmark multimodale LoCoMo mostra che estrarre, aggiornare e ragionare su lunghe cronologie di interazione rimane una sfida. (arxiv.org)
• Agenti di ispezione visiva: Un modello di visione-linguaggio che monitora una fabbrica può diventare meno affidabile se ogni frame, rilevamento e registro di manutenzione viene inserito in un unico prompt. Un flusso di lavoro migliore utilizza Ultralytics YOLO26 per estrarre fatti visivi concisi prima del ragionamento del modello linguistico.
• Agenti di programmazione: Caricare un intero repository, ogni definizione di strumento e la cronologia completa del terminale può oscurare l'obiettivo corrente. La guida all'ingegneria del contesto di Anthropic consiglia di curare il contesto, mentre il suo approccio Agent Skills carica risorse dettagliate solo quando necessario. (anthropic.com)

Questo flusso di lavoro YOLO predict dimostra come convertire rilevamenti grezzi in un contesto compatto e strutturato:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Link to this sectionCome ridurre il Context Rot#

• Recupera solo le prove rilevanti: Usa il chunking semantico e un reranker invece di inviare ogni documento disponibile.
• Comprimi le informazioni meno recenti: Sostituisci lunghe cronologie con riassunti verificati, decisioni e attività irrisolte. La ricerca suggerisce che la lunghezza dell'input può ridurre le prestazioni anche dopo un recupero riuscito. (arxiv.org)
• Preserva prefissi stabili: La prompt caching di OpenAI e la caching del contesto di Gemini possono ridurre i costi di elaborazione ripetuta, sebbene la sola caching non migliori la qualità del contesto.
• Usa finestre scorrevoli: Google consiglia la compressione della finestra di contesto per sessioni live lunghe, conservando le informazioni recenti ed eliminando i token meno recenti. (ai.google.dev)
• Valuta a lunghezze realistiche: Applica il monitoraggio del modello e riproduci test controllati con il toolkit open source per il context rot.

Il context rot differisce dall'allucinazione, che è un output non supportato; dal dimenticare catastrofico, che altera la conoscenza del modello durante l'addestramento; e dal data drift, che riflette input di produzione in evoluzione. Il context rot è principalmente un fallimento nella selezione e nel ragionamento del contesto durante l'inferenza, rendendo un'efficace ingegneria del contesto la sua difesa principale.