Context Rot

A deterioração do contexto é a perda gradual de fiabilidade que ocorre quando um modelo de IA recebe mais contexto do que consegue usar eficazmente. Mesmo quando uma janela de contexto anunciada consegue conter tecnicamente centenas de milhares de tokens, um modelo de linguagem de grande dimensão pode ignorar factos relevantes, seguir instruções desatualizadas ou raciocinar com menos precisão à medida que a entrada aumenta. Um estudo da Chroma de 2025 sobre a deterioração do contexto observou este desempenho não uniforme em 18 modelos e várias tarefas controladas.

Como ocorre a deterioração do contexto#

Entradas longas exigem mais do mecanismo de atenção do modelo. Evidências importantes precisam competir com instruções repetidas, documentos irrelevantes, saídas de ferramentas e turnos anteriores da conversa. A posição no contexto, a semelhança semântica, os fatos conflitantes e a complexidade da tarefa podem afetar o que o modelo usa.

A referência RULER de 2024 para contextos longos concluiu que os modelos com bom desempenho em tarefas simples de recuperação tendiam a piorar à medida que aumentavam o comprimento da sequência e a complexidade da tarefa. A referência NoLiMa de 2025 revelou quedas maiores quando encontrar uma resposta exigia raciocínio semântico, em vez de corresponder a palavras idênticas. Por isso, não existe um número universal de tokens — nem mesmo para os modelos Gemini — a partir do qual começa a deterioração do contexto; o limiar depende do modelo, da estrutura do prompt e da tarefa.

Exemplos do mundo real#

• Assistentes de apoio ao cliente: Um chatbot que receba anos de tickets pode dar prioridade a uma política obsoleta ou não detetar uma atualização recente da conta. A investigação que usa a memória conversacional LongMemEval e a referência multimodal LoCoMo mostra que continua a ser difícil extrair, atualizar e raciocinar sobre históricos longos de interações.
• Agentes de inspeção visual: Um modelo de visão e linguagem que monitora uma fábrica pode tornar-se menos confiável se cada quadro, deteção e registo de manutenção for incluído em um único prompt. Um fluxo de trabalho melhor usa o Ultralytics YOLO26 para extrair fatos visuais concisos antes do raciocínio do modelo de linguagem.
• Agentes de programação: Carregar um repositório inteiro, todas as definições de ferramentas e o histórico completo do terminal pode ocultar o objetivo atual. As orientações da Anthropic sobre engenharia de contexto recomendam selecionar cuidadosamente o contexto, enquanto a abordagem Agent Skills da empresa carrega recursos detalhados apenas quando necessário.

Este fluxo de trabalho de previsão do YOLO demonstra como converter deteções brutas em contexto compacto e estruturado:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Como reduzir a deterioração do contexto#

• Recupera apenas evidências relevantes: Usa segmentação semântica e um reranker em vez de enviar todos os documentos disponíveis.
• Comprime informações antigas: Substitui históricos longos por resumos verificados, decisões e tarefas por resolver. A investigação sugere que o comprimento da entrada pode reduzir o desempenho mesmo após uma recuperação bem-sucedida.
• Preserva prefixos estáveis: O cache de prompts da OpenAI e o cache de contexto do Gemini podem reduzir os custos de processamento repetido, embora o cache por si só não melhore a qualidade do contexto.
• Usa janelas deslizantes: A Google recomenda a compressão da janela de contexto em sessões longas em direto, mantendo as informações recentes e removendo os tokens mais antigos.
• Avalia com comprimentos realistas: Aplica o monitoramento de modelos e reproduz testes controlados com o kit de ferramentas aberto para deterioração do contexto.

A deterioração do contexto difere da alucinação, que é uma saída sem fundamento; do esquecimento catastrófico, que altera o conhecimento do modelo durante o treinamento; e do desvio de dados, que reflete mudanças nas entradas de produção. A deterioração do contexto é principalmente uma falha de inferência na seleção e no raciocínio sobre o contexto, por isso a engenharia de contexto eficaz é sua principal defesa.