Context Rot
上下文衰退是指随着输入变长,LLM 的准确率下降,即使输入长度远未达到上下文窗口上限也是如此。介绍相关证据、原因和解决方法。
上下文衰退是指大型语言模型(LLM)的输入变长时准确率下降,即使输入长度远未达到其上下文窗口上限也是如此。对于一个 300-token 提示中能正确回答的问题,一旦相关事实埋在 100,000 个 token 的对话历史、文档和工具输出中,模型可能就会遗漏该事实、遵循过时指令,或混淆相似细节。Chroma 于 2025 年 7 月发布的上下文衰退报告测量了 Anthropic、OpenAI、Google 和 Alibaba 的 18 个模型,包括 Claude Opus 4、GPT-4.1、Gemini 2.5 Pro 和 Qwen3;报告发现,所有模型的准确率都会随着输入长度增加而下降,即使任务只是复制一长串重复词语也不例外。
上下文衰退的表现#
简单的检索测试无法揭示这一问题。在大海捞针(NIAH)测试中,插入的事实通常与问题共享一些词语,而前沿模型如今在数十万个token规模下的得分已接近 100%。更难的测试则会暴露性能下降:
- 位置: 2023 年的研究 Lost in the Middle 发现,相关段落位于提示开头或结尾时,模型回答得最好;位于中间时,表现最差。
- 任务复杂度: NVIDIA 的 RULER 基准增加了多跳追踪和聚合任务;结果发现,在声称支持 32K token 或更长上下文的 17 个模型中,只有一半在 32K 长度下表现令人满意。
- 没有字面匹配: NoLiMa会尽量减少问题与答案之间的词语重合,因此模型必须推断两者的关联。在 32K token 长度下,13 个模型中有 11 个的得分跌至短上下文得分的一半以下,GPT-4o 的得分则从 99.3% 降至 69.7%。
- 干扰项和记忆: 在 Chroma 的测试中,一段与答案相似的内容就会降低准确率;在 LongMemEval 对话问答测试中,所有模型使用约 300 个 token 的聚焦提示时,得分都远高于使用约 113,000 个 token 的完整历史记录时。
发生原因#
自注意力会将固定总量的 softmax 权重分散到每个 token 上,因此每个新增 token 都会与重要证据竞争;Anthropic 将这一限制称为模型的注意力预算。模型还会从训练数据中学习注意力模式,而训练数据中的短序列比长序列更常见;此外,过时指令、已被取代的事实和近似重复的段落会让模型面临多个看似合理的答案。结构也很重要:在 Chroma 的测试中,包含打乱且不连贯句子的“干草堆”对准确率的影响小于连贯的文章。
上下文衰退与相关术语对比#
- 上下文窗口: 模型可接受的 token 数量上限。上下文衰退会在达到该上限之前发生。
- 幻觉: 任何不受输入或事实支持的输出。冗长且包含干扰信息的提示会提高幻觉率;在 Chroma 的干扰项测试中,GPT 模型最常产生幻觉,而 Claude 模型更常拒绝回答。
- 灾难性遗忘: 训练导致模型权重变化时,模型会失去先前掌握的技能。上下文衰退不会改变权重,而是在推理时发生。
- 数据漂移: 已部署模型随时间推移所接收的输入发生变化。
减少上下文衰退#
解决方法是上下文工程:每次调用时,只向模型提供最少量的相关 token。检索增强生成(RAG)结合语义分块和重排序器,只发送少量相关段落,而不是整套文档;提示压缩则会缩短剩余内容。Anthropic 的面向 AI 智能体的上下文工程指南为长任务补充了三种技术:压缩,即用摘要替代较早的轮次;由 AI 智能体在窗口外编写并稍后读取的结构化笔记,这是一种情景记忆;以及子智能体,它们在各自的窗口中使用数万个 token 进行探索,并返回 1,000 到 2,000 个 token 的摘要。
智能体技能也会对指令采用相同的按需加载方式。在 Ultralytics Agent Skills 中,yolo 路由技能会将请求映射到六种生命周期技能之一,例如 yolo-training 或 yolo-export,使编程智能体只在处理相应阶段时才加载详细的 YOLO 指南。










