Context Rot

O context rot é a perda gradual de confiabilidade que ocorre quando um modelo de IA recebe mais contexto do que consegue usar de forma eficaz. Mesmo quando uma context window anunciada consegue tecnicamente conter centenas de milhares de tokens, um large language model pode ignorar factos relevantes, seguir instruções desatualizadas ou raciocinar com menos precisão à medida que a entrada cresce. Um Chroma context rot study de 2025 observou este desempenho não uniforme em 18 modelos e várias tarefas controladas. (trychroma.com)

Como a degradação de contexto ocorre#

Entradas longas exigem mais do attention mechanism do modelo. Evidências importantes têm de competir com instruções repetidas, documentos irrelevantes, saídas de ferramentas e turnos de conversação mais antigos. A posição do contexto, a semelhança semântica, factos contraditórios e a complexidade da tarefa podem afetar o que o modelo utiliza.

O RULER long-context benchmark de 2024 concluiu que os modelos com bom desempenho na recuperação simples frequentemente diminuíam o rendimento à medida que o comprimento da sequência e a complexidade da tarefa aumentavam. O NoLiMa benchmark de 2025 revelou quedas maiores quando encontrar uma resposta exigia raciocínio semântico em vez de correspondência de palavras idênticas. Portanto, não existe uma contagem universal de tokens — incluindo para modelos Gemini — na qual o context rot começa; o limite depende do modelo, da estrutura do prompt e da tarefa. (arxiv.org)

Exemplos do mundo real#

• Assistentes de suporte ao cliente: Um chatbot que receba anos de tickets pode priorizar uma política obsoleta ou perder uma atualização recente de conta. Pesquisas que utilizam a memória conversacional LongMemEval e o LoCoMo benchmark multimodal mostram que extrair, atualizar e raciocinar sobre longos históricos de interação continua a ser um desafio. (arxiv.org)
• Agentes de inspeção visual: Um vision-language model que monitoriza uma fábrica pode tornar-se menos fiável se cada frame, deteção e registo de manutenção for colocado num único prompt. Um fluxo de trabalho melhor utiliza o Ultralytics YOLO26 para extrair factos visuais concisos antes do raciocínio do modelo de linguagem.
• Agentes de codificação: Carregar um repositório inteiro, cada definição de ferramenta e o histórico completo do terminal pode obscurecer o objetivo atual. As Anthropic’s context-engineering guidance recomendam a curadoria de contexto, enquanto a sua abordagem Agent Skills approach carrega recursos detalhados apenas quando necessário. (anthropic.com)

Este YOLO predict workflow demonstra a conversão de deteções em bruto num contexto compacto e estruturado:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Como reduzir a degradação de contexto#

• Retrieve only relevant evidence: Utiliza semantic chunking e um reranker em vez de enviar todos os documentos disponíveis.
• Compress older information: Substitui históricos longos por resumos verificados, decisões e tarefas não resolvidas. A investigação sugere que o comprimento da entrada pode reduzir o desempenho mesmo após uma recuperação bem-sucedida. (arxiv.org)
• Preservar prefixos estáveis: O OpenAI prompt caching e o Gemini context caching podem reduzir os custos de processamento repetido, embora o armazenamento em cache por si só não melhore a qualidade do contexto.
• Utilizar janelas deslizantes: A Google recomenda a context-window compression for long live sessions, retendo informações recentes enquanto remove tokens mais antigos. (ai.google.dev)
• Avaliar com comprimentos realistas: Aplica model monitoring e reproduz testes controlados com o open context rot toolkit.

O context rot difere da alucinação, que é uma saída sem suporte; do esquecimento catastrófico, que altera o conhecimento do modelo durante o treino; e da deriva de dados, que reflete aspetos variáveis das entradas de produção. O context rot é primariamente uma falha de seleção de contexto e raciocínio em tempo de inferência, tornando a context engineering eficaz a sua principal defesa.