获取 YOLO 许可
返回 Ultralytics 术语表

Context Rot

上下文衰退是指随着输入变长,LLM 的准确率下降,即使输入长度远未达到上下文窗口上限也是如此。介绍相关证据、原因和解决方法。

上下文衰退是指大型语言模型(LLM)的输入变长时准确率下降,即使输入长度远未达到其上下文窗口上限也是如此。对于一个 300-token 提示中能正确回答的问题,一旦相关事实埋在 100,000 个 token 的对话历史、文档和工具输出中,模型可能就会遗漏该事实、遵循过时指令,或混淆相似细节。Chroma 于 2025 年 7 月发布的上下文衰退报告测量了 Anthropic、OpenAI、Google 和 Alibaba 的 18 个模型,包括 Claude Opus 4、GPT-4.1、Gemini 2.5 Pro 和 Qwen3;报告发现,所有模型的准确率都会随着输入长度增加而下降,即使任务只是复制一长串重复词语也不例外。

上下文衰退的表现#

简单的检索测试无法揭示这一问题。在大海捞针(NIAH)测试中,插入的事实通常与问题共享一些词语,而前沿模型如今在数十万个token规模下的得分已接近 100%。更难的测试则会暴露性能下降:

  • 位置: 2023 年的研究 Lost in the Middle 发现,相关段落位于提示开头或结尾时,模型回答得最好;位于中间时,表现最差。
  • 任务复杂度: NVIDIA 的 RULER 基准增加了多跳追踪和聚合任务;结果发现,在声称支持 32K token 或更长上下文的 17 个模型中,只有一半在 32K 长度下表现令人满意。
  • 没有字面匹配: NoLiMa会尽量减少问题与答案之间的词语重合,因此模型必须推断两者的关联。在 32K token 长度下,13 个模型中有 11 个的得分跌至短上下文得分的一半以下,GPT-4o 的得分则从 99.3% 降至 69.7%。
  • 干扰项和记忆: 在 Chroma 的测试中,一段与答案相似的内容就会降低准确率;在 LongMemEval 对话问答测试中,所有模型使用约 300 个 token 的聚焦提示时,得分都远高于使用约 113,000 个 token 的完整历史记录时。

发生原因#

自注意力会将固定总量的 softmax 权重分散到每个 token 上,因此每个新增 token 都会与重要证据竞争;Anthropic 将这一限制称为模型的注意力预算。模型还会从训练数据中学习注意力模式,而训练数据中的短序列比长序列更常见;此外,过时指令、已被取代的事实和近似重复的段落会让模型面临多个看似合理的答案。结构也很重要:在 Chroma 的测试中,包含打乱且不连贯句子的“干草堆”对准确率的影响小于连贯的文章。

  • 上下文窗口: 模型可接受的 token 数量上限。上下文衰退会在达到该上限之前发生。
  • 幻觉: 任何不受输入或事实支持的输出。冗长且包含干扰信息的提示会提高幻觉率;在 Chroma 的干扰项测试中,GPT 模型最常产生幻觉,而 Claude 模型更常拒绝回答。
  • 灾难性遗忘: 训练导致模型权重变化时,模型会失去先前掌握的技能。上下文衰退不会改变权重,而是在推理时发生。
  • 数据漂移: 已部署模型随时间推移所接收的输入发生变化。

减少上下文衰退#

解决方法是上下文工程:每次调用时,只向模型提供最少量的相关 token。检索增强生成(RAG)结合语义分块和重排序器,只发送少量相关段落,而不是整套文档;提示压缩则会缩短剩余内容。Anthropic 的面向 AI 智能体的上下文工程指南为长任务补充了三种技术:压缩,即用摘要替代较早的轮次;由 AI 智能体在窗口外编写并稍后读取的结构化笔记,这是一种情景记忆;以及子智能体,它们在各自的窗口中使用数万个 token 进行探索,并返回 1,000 到 2,000 个 token 的摘要。

智能体技能也会对指令采用相同的按需加载方式。在 Ultralytics Agent Skills 中,yolo 路由技能会将请求映射到六种生命周期技能之一,例如 yolo-training 或 yolo-export,使编程智能体只在处理相应阶段时才加载详细的 YOLO 指南。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来