Speculative Decoding
推测解码让小型草稿模型提出词元,再由大型模型一次性验证,从而加快 LLM 输出且不改变输出内容。
推测解码是一种推理技术,它通过让小型快速草稿模型猜测多个即将生成的token,再让大型目标模型通过单次前向计算检查所有猜测,从而加速大型语言模型(LLM)的文本生成。每个被接受的猜测都意味着大型模型不必逐步生成该 token,而接受规则可以保证输出与仅使用目标模型时的概率分布完全相同。Google 的 Yaniv Leviathan、Matan Kalman 和 Yossi Matias 于 2022 年 11 月在《Fast Inference from Transformers via Speculative Decoding》中提出了这一方法,并报告称 T5-XXL 的生成速度提升了 2–3 倍,同时输出保持一致。DeepMind 的 Charlie Chen 及其同事于 2023 年 2 月以“推测采样”之名发表了相同思路,Chinchilla(700 亿参数)的速度提升了 2–2.5 倍。
解码为何有推测空间#
自回归生成每次前向计算只生成一个 token,而每次计算都需要从内存中读取模型的全部权重。对于单个序列,内存流量决定了速度:GPU在每一步的大部分时间都在等待内存带宽,因此一次计算五个 token 所花的时间几乎与计算一个相同。推测解码会将闲置的计算资源用于验证。许多 token 很容易预测,例如常见短语的后半部分、代码中的闭括号,或从提示词中复制的名称;而规模只是目标模型一小部分的草稿模型,大多数时候都能猜对。这能降低每条回复的推理延迟。
草稿与验证循环#
每轮包含三个步骤。草稿模型会生成 k 个候选 token;由于模型规模较小,生成成本很低。随后,目标模型会在一次计算中处理全部 k 个草稿,复用此前上下文的 KV 缓存,并返回每个草稿位置对应的概率。最后,系统会从左到右检查草稿。草稿 token x 被接受的概率为 min(1, p(x) / q(x)),其中 p 是目标模型的概率,q 是草稿模型的概率。遇到第一个被拒绝的 token 时,系统会从剩余分布 max(0, p - q) 中采样一个替代 token,对该分布重新归一化,并丢弃剩余草稿。如果全部 k 个草稿都通过验证,目标模型对下一个位置的预测也会从同一次计算中免费获得,因此每轮会产生 1 到 k + 1 个 token。
使用贪心解码时,只需检查草稿是否与目标模型的最高概率 token 相同,并保留匹配的草稿。如果每个草稿被接受的概率为 a,一轮平均会产生 (1 - a^(k+1)) / (1 - a) 个 token;因此当 a = 0.8、k = 4 时,目标模型每次前向计算约可推进 3.4 个 token。
这段 PyTorch模拟代码将接受规则应用于一个解码步骤,并统计输出的 token:
import torch
torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05]) # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20]) # draft model's probabilities for the same step
# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)
# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)
print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")该次运行接受了 80.1% 的草稿,与两个分布的重合度相符;两个分布的重合度,即 min(p, q) 之和,为 0.80。输出频率 0.5003、0.2985、0.1503 和 0.0510 还原了目标分布 p,尽管大多数 token 都由草稿模型提出。
草稿来源与相关技术#
草稿不一定要来自独立网络:
- 来自同一系列的小型语言模型:与大型模型使用相同分词器、并与其一同发布的小型模型,是经典选择。
- Medusa 头:目标模型的额外解码头会根据其最后一个隐藏状态预测多个未来 token,并使用树注意力验证这些 token。
- 提示词查找:草稿 token 会从提示词中匹配的 n-gram 复制而来,适用于摘要、检索增强回答和会重复输入内容的代码编辑。
知识蒸馏会训练一个小型模型来代替大型模型,也是训练草稿模型的常见方法,能让目标模型更常接受其猜测。模型量化会降低目标模型自身权重的精度,从而略微改变其输出;将量化模型用作草稿模型也是常见搭配。
vLLM、SGLang、TensorRT-LLM 和 llama.cpp 等服务引擎都提供推测解码,Hugging Face Transformers 则将其作为辅助生成提供。通过 Ultralytics LLM 接口将检测结果交给语言模型的 YOLO26流程,可以将 base_url 指向此类本地服务器,让生成报告在输出分布不变的情况下更快开始传回。该方法在较小批次大小下收益最大:持续批处理在高负载下已经用其他请求填满 GPU,几乎没有多余计算资源可用于验证。










