Reasoning Models

推理模型是一种经过训练的大型语言模型 (LLM)，会在给出最终答案前生成一段较长的内部思维链，因此能在更难的问题上投入更多计算资源。OpenAI 于 2024 年 9 月 12 日通过o1推出了这一类别：在 2024 年 AIME 数学竞赛中，GPT-4o 平均解出 12% 的题目，而 o1 每道题采样一次时解出 74%，对 64 个样本进行共识投票时解出 83%，使用学习得到的评分函数对 1,000 个样本重新排序时则解出 93%。o1 在GPQA科学基准测试中的准确率也超过了人类博士专家。随后出现了 DeepSeek-R1、Google 的 Gemini 思考模型、Anthropic 的扩展思考版 Claude，以及 Alibaba 的 Qwen3；许多当前模型是混合型模型，会根据设置快速作答或深入思考。

推理模型的训练方式#

思维链提示在 2022 年表明，要求模型写出中间步骤可以改善答案。推理模型通过在答案可自动验证的问题上进行强化学习 (RL)来学习这种行为，这种方法称为可验证奖励强化学习 (RLVR)。DeepSeek 在 2025 年 1 月的DeepSeek-R1 论文中介绍了这一训练方案。其 R1-Zero 模型以 DeepSeek-V3 基础模型为起点，使用组相对策略优化 (GRPO)进行训练，奖励仅取决于最终答案是否正确以及输出格式是否恰当：

训练中没有提供逐步示例，但 R1-Zero 在 AIME 2024 上的 pass@1 准确率从 15.6% 上升到 71.0%，多数投票时则达到 86.7%。训练过程中，模型的回答越来越长，并开始重新检查和修正自己的步骤；作者将这一时刻称为“顿悟时刻”。正式发布的 DeepSeek-R1 首先使用几千条经过筛选的长推理示例进行训练，以提升可读性，并在 AIME 2024 上达到 79.8%；DeepSeek 还将其推理过程蒸馏到更小的 Qwen 和 Llama 模型中。逐步评分的过程奖励模型 (PRM)是这些结果奖励的主要替代方案，不过 DeepSeek 报告称，PRM 和蒙特卡洛树搜索在其大规模训练中效果不佳。

测试时计算#

推理模型的准确率会随着用于思考的 token 数量增加而提高，这是与模型规模和训练数据并列的另一条缩放定律轴线。API 会将其作为推理力度或思考预算公开；通过并行采样多个答案并投票，或借助验证器搜索部分解，准确率还能进一步提高。代价是延迟和token：在给出第一个答案词之前，一个难题可能就会消耗数千个隐藏推理 token。Ultralytics LLM 接口会将请求参数原样转发给 OpenAI SDK，因此，当检测到的场景需要审慎作答时，YOLO26流水线可以通过 Responses API 将 reasoning={"effort": "high"} 传给推理模型。

OpenAI 于 2025 年 4 月发布的 o3 和 o4-mini，将思维链扩展到了图像：模型可以在推理时裁剪、缩放和旋转照片。这种视觉推理有助于处理小字、图表和杂乱场景中的视觉问答 (VQA)。

局限#

推理模型会对简单问题想得过多，在直接回答即可的问题上浪费 token，而且仍会在一些简单任务上不可预测地失败，这种现象称为锯齿状智能。针对可验证答案进行 RL 会奖励结果，因此模型可能学会通过验证器的捷径，这是一种奖励作弊。书面思维链也无法完整记录计算过程：在 2025 年 4 月发表的一项Anthropic 研究中，当提示改变模型答案时，Claude 3.7 Sonnet 仅有 25% 的情况下提到了该提示，DeepSeek-R1 则为 39%。

推理模型与相关术语#

• 思维链提示： 在推理时提示任何 LLM 写出步骤；推理模型经过训练后，无需提示也会产生这种行为。
• 系统 2 思维： 心理学术语，指缓慢、审慎的推理；该领域借用它来描述推理模型的行为。
• 潜在推理： 在隐藏状态向量中而非书面 token 中进行的推理，因此不会留下可读记录。
• 思维树： 对分支思维链进行显式搜索，并由模型对各分支的自我评估来引导。