获取 YOLO 许可
返回 Ultralytics 术语表

Speculative Decoding

推测解码让小型草稿模型提出词元,再由大型模型一次性验证,从而加快 LLM 输出且不改变输出内容。

推测解码是一种推理技术,它通过让小型快速草稿模型猜测多个即将生成的token,再让大型目标模型通过单次前向计算检查所有猜测,从而加速大型语言模型(LLM)的文本生成。每个被接受的猜测都意味着大型模型不必逐步生成该 token,而接受规则可以保证输出与仅使用目标模型时的概率分布完全相同。Google 的 Yaniv Leviathan、Matan Kalman 和 Yossi Matias 于 2022 年 11 月在《Fast Inference from Transformers via Speculative Decoding》中提出了这一方法,并报告称 T5-XXL 的生成速度提升了 2–3 倍,同时输出保持一致。DeepMind 的 Charlie Chen 及其同事于 2023 年 2 月以“推测采样”之名发表了相同思路,Chinchilla(700 亿参数)的速度提升了 2–2.5 倍。

解码为何有推测空间#

自回归生成每次前向计算只生成一个 token,而每次计算都需要从内存中读取模型的全部权重。对于单个序列,内存流量决定了速度:GPU在每一步的大部分时间都在等待内存带宽,因此一次计算五个 token 所花的时间几乎与计算一个相同。推测解码会将闲置的计算资源用于验证。许多 token 很容易预测,例如常见短语的后半部分、代码中的闭括号,或从提示词中复制的名称;而规模只是目标模型一小部分的草稿模型,大多数时候都能猜对。这能降低每条回复的推理延迟。

草稿与验证循环#

每轮包含三个步骤。草稿模型会生成 k 个候选 token;由于模型规模较小,生成成本很低。随后,目标模型会在一次计算中处理全部 k 个草稿,复用此前上下文的 KV 缓存,并返回每个草稿位置对应的概率。最后,系统会从左到右检查草稿。草稿 token x 被接受的概率为 min(1, p(x) / q(x)),其中 p 是目标模型的概率,q 是草稿模型的概率。遇到第一个被拒绝的 token 时,系统会从剩余分布 max(0, p - q) 中采样一个替代 token,对该分布重新归一化,并丢弃剩余草稿。如果全部 k 个草稿都通过验证,目标模型对下一个位置的预测也会从同一次计算中免费获得,因此每轮会产生 1 到 k + 1 个 token。

使用贪心解码时,只需检查草稿是否与目标模型的最高概率 token 相同,并保留匹配的草稿。如果每个草稿被接受的概率为 a,一轮平均会产生 (1 - a^(k+1)) / (1 - a) 个 token;因此当 a = 0.8、k = 4 时,目标模型每次前向计算约可推进 3.4 个 token。

这段 PyTorch模拟代码将接受规则应用于一个解码步骤,并统计输出的 token:

import torch

torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05])  # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20])  # draft model's probabilities for the same step

# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)

# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)

print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")

该次运行接受了 80.1% 的草稿,与两个分布的重合度相符;两个分布的重合度,即 min(p, q) 之和,为 0.80。输出频率 0.5003、0.2985、0.1503 和 0.0510 还原了目标分布 p,尽管大多数 token 都由草稿模型提出。

草稿不一定要来自独立网络:

  • 来自同一系列的小型语言模型:与大型模型使用相同分词器、并与其一同发布的小型模型,是经典选择。
  • Medusa 头:目标模型的额外解码头会根据其最后一个隐藏状态预测多个未来 token,并使用树注意力验证这些 token。
  • 提示词查找:草稿 token 会从提示词中匹配的 n-gram 复制而来,适用于摘要、检索增强回答和会重复输入内容的代码编辑。

知识蒸馏会训练一个小型模型来代替大型模型,也是训练草稿模型的常见方法,能让目标模型更常接受其猜测。模型量化会降低目标模型自身权重的精度,从而略微改变其输出;将量化模型用作草稿模型也是常见搭配。

vLLM、SGLang、TensorRT-LLM 和 llama.cpp 等服务引擎都提供推测解码,Hugging Face Transformers 则将其作为辅助生成提供。通过 Ultralytics LLM 接口将检测结果交给语言模型的 YOLO26流程,可以将 base_url 指向此类本地服务器,让生成报告在输出分布不变的情况下更快开始传回。该方法在较小批次大小下收益最大:持续批处理在高负载下已经用其他请求填满 GPU,几乎没有多余计算资源可用于验证。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来