Latent Reasoning

潜在推理是指模型在隐藏状态中进行推理；隐藏状态是神经网络内部的连续向量，而不是书面token。使用思维链提示时，大型语言模型（LLM）会将每个中间步骤写成文本再读回来；使用潜在推理时，中间步骤会保留为向量，只有答案会被解码。这个术语涵盖两种情况：任何单次前向传播中发生的隐式推理，例如在不明确说出联系事实的情况下解决一个两步问题；以及训练模型在连续空间中思考的方法，例如 Meta 于 2024 年 12 月发布的 Coconut，以及 2025 年推出的循环深度模型。

为何在潜在空间中推理#

一个书面步骤传递的信息很少。每个 token 都是从数万个词汇项中作出的一个选择，而即使是小型 Transformer中的隐藏状态也包含数百或数千个数字，可以同时编码多个部分结果。写出推理步骤也要花时间：每个推理 token 都需要一次完整的前向传播，因此冗长的思维链会增加推理延迟和服务成本。即使不使用文字，额外的隐藏计算也有帮助。Google 和卡内基梅隆大学的研究人员于 2023 年发现，在一个 10 亿参数模型中使用可学习的“暂停”token 进行训练，让模型在回答前多做几次前向传播，可使 SQuAD 问答基准测试的精确匹配分数提高 18%。

Coconut：连续思维链#

Meta 和加州大学圣迭戈分校的研究人员在《训练大型语言模型在连续潜在空间中推理》一文中介绍了 Coconut。在特殊的思考起始和结束 token 之间，模型会将上一个隐藏状态直接作为下一个输入的嵌入，而不是将其解码成单词。Coconut 使用了 OpenAI 的 GPT-2，同一个循环也可以在预训练模型上运行：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

四个推理步骤会将序列长度从 8 扩展到 12 个位置，却不生成任何文本；每一步都会向下一次前向传播传递 768 个浮点数，而书面步骤只能传递 50,257 个 token 中的一个，信息量约为 15.6 位。Coconut 通过课程学习微调 GPT-2，每个阶段都会将一部分书面推理步骤替换为连续思维。在 ProsQA 这项需要规划的逻辑推理任务中，Coconut 的准确率达到 97.0%，平均生成 14.2 个 token；相比之下，思维链的准确率为 77.5%，生成 49.4 个 token。在 GSM8K 数学问题上，Coconut 的表现不如思维链，准确率为 34.1%，而思维链为 42.9%；不过 Coconut 生成的 token 数量约为后者的三分之一。作者发现，一个连续思维可以同时编码多个可能的后续步骤，让模型以广度优先的方式探索不同选项；而逐个 token 作出选择的书面思维链做不到这一点。

其他方法#

循环深度模型会多次重复使用同一层模块。Jonas Geiping 等人于 2025 年使用 8000 亿个 token 训练了一个 35 亿参数模型，该模型在推理时循环运行一个模块；随着迭代次数增加，它在推理基准测试中的得分持续上升，计算量最高相当于一个 500 亿参数模型，却没有额外生成任何 token。因此，循环是一种扩展测试时计算量的方式；扩展计算量通常通过生成更长的思维链来实现，也是缩放定律的一个维度。隐式思维链方法会先用已完成的解题过程训练模型，然后逐步去掉书面步骤：Yuntian Deng、Yejin Choi 和 Stuart Shieber 通过逐步内化训练 GPT-2 Small，使其在不使用中间步骤的情况下，解 9×9 位数乘法题的准确率最高达到 99%。

这个理念也适用于文本之外的领域。Meta 的大型概念模型（LCM）会预测下一个句子的嵌入，而不是下一个 token；联合嵌入预测架构（JEPA）会在潜在空间中预测图像和视频的缺失部分，而不是在像素空间中预测；Figure 的 Helix 等具身 AI系统会将潜在向量而非文本，从视觉语言模型（VLM）传递给控制机器人的策略网络。检测器也会保存相同类型的隐藏状态：在 Ultralytics YOLO26中，model.embed()只运行到检测头之前的层，并将特征图进行平均池化，为每张图像生成一个向量，而不是输出框和类别标签；这通过预测模式实现。

可解释性与安全#

书面思维链为人类和自动化监控系统提供了可检查的记录；以文本进行推理的推理模型，则可以在采取行动前检查是否存在奖励欺骗或欺骗行为的迹象。2025 年 7 月，来自 OpenAI、Google DeepMind、Anthropic、Meta 等机构的研究人员在一份立场论文中指出，思维链的可监控性是AI 安全领域一个脆弱的机会，并警告说潜在推理架构可能会让这种机会消失。潜在推理步骤只能通过机制可解释性工具间接读取，例如探针、logit lens 和稀疏自编码器（SAE）；在 Coconut 论文中，通过语言模型输出头解码连续思维时，概率会分散到多个候选中间值上。