Context Rot

A degradação de contexto (context rot) é a perda gradual de confiabilidade que ocorre quando um modelo de IA recebe mais contexto do que consegue utilizar efetivamente. Mesmo quando uma janela de contexto anunciada pode tecnicamente comportar centenas de milhares de tokens, um modelo de linguagem grande pode ignorar fatos relevantes, seguir instruções desatualizadas ou raciocinar com menos precisão à medida que a entrada aumenta. Um estudo de degradação de contexto da Chroma de 2025 observou esse desempenho não uniforme em 18 modelos e várias tarefas controladas. (trychroma.com)

Link to this sectionComo a degradação de contexto ocorre#

Entradas longas exigem mais do mecanismo de atenção do modelo. Evidências importantes precisam competir com instruções repetidas, documentos irrelevantes, saídas de ferramentas e turnos de conversa mais antigos. A posição do contexto, a similaridade semântica, fatos conflitantes e a complexidade da tarefa podem afetar o que o modelo utiliza.

O benchmark de contexto longo RULER de 2024 descobriu que modelos com bom desempenho em recuperação simples frequentemente declinavam à medida que o comprimento da sequência e a complexidade da tarefa aumentavam. O benchmark NoLiMa de 2025 revelou quedas maiores quando encontrar uma resposta exigia raciocínio semântico em vez de apenas combinar palavras idênticas. Portanto, não existe uma contagem universal de tokens — incluindo para modelos Gemini — em que a degradação de contexto começa; o limite depende do modelo, da estrutura do prompt e da tarefa. (arxiv.org)

Link to this sectionExemplos do mundo real#

• Assistentes de suporte ao cliente: Um chatbot que recebe anos de tickets pode priorizar uma política obsoleta ou perder uma atualização de conta recente. Pesquisas usando a memória conversacional LongMemEval e o benchmark LoCoMo multimodal mostram que extrair, atualizar e raciocinar sobre longos históricos de interação continua sendo um desafio. (arxiv.org)
• Agentes de inspeção visual: Um modelo de linguagem visual que monitora uma fábrica pode se tornar menos confiável se cada quadro, detecção e registro de manutenção for colocado em um único prompt. Um fluxo de trabalho melhor utiliza o Ultralytics YOLO26 para extrair fatos visuais concisos antes do raciocínio do modelo de linguagem.
• Agentes de codificação: Carregar um repositório inteiro, cada definição de ferramenta e o histórico completo do terminal pode obscurecer o objetivo atual. A orientação de engenharia de contexto da Anthropic recomenda a curadoria do contexto, enquanto sua abordagem de Agent Skills carrega recursos detalhados apenas quando necessário. (anthropic.com)

Este fluxo de trabalho de predição YOLO demonstra a conversão de detecções brutas em um contexto compacto e estruturado:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Link to this sectionComo reduzir a degradação de contexto#

• Recupere apenas evidências relevantes: Use chunking semântico e um reranker em vez de enviar todos os documentos disponíveis.
• Comprima informações antigas: Substitua históricos longos por resumos verificados, decisões e tarefas pendentes. Pesquisas sugerem que o comprimento da entrada pode reduzir o desempenho mesmo após uma recuperação bem-sucedida. (arxiv.org)
• Preserve prefixos estáveis: O prompt caching da OpenAI e o context caching do Gemini podem reduzir custos de processamento repetido, embora o cache por si só não melhore a qualidade do contexto.
• Use janelas deslizantes: O Google recomenda compressão de janela de contexto para sessões ao vivo longas, retendo informações recentes enquanto remove tokens mais antigos. (ai.google.dev)
• Avalie em comprimentos realistas: Aplique monitoramento de modelo e reproduza testes controlados com o toolkit de degradação de contexto aberto.

A degradação de contexto difere da alucinação, que é uma saída sem suporte; do esquecimento catastrófico, que altera o conhecimento do modelo durante o treinamento; e do desvio de dados (data drift), que reflete a mudança nas entradas de produção. A degradação de contexto é, primariamente, uma falha de seleção e raciocínio de contexto durante a inferência, tornando a engenharia de contexto eficaz a sua principal defesa.