获取 YOLO 许可
返回 Ultralytics 术语表

KV Cache

KV 缓存会存储先前 token 的键和值,使 Transformer 无需重复计算这些内容,从而加快 LLM 生成。内容涵盖其工作原理和内存开销。

KV 缓存(键值缓存)存储 Transformer 注意力层已经为先前 token 计算出的键向量和值向量,因此模型生成下一个 token 时无需重新计算。大型语言模型(LLM)每次生成文本时只输出一个token,而每个新 token 都必须关注它之前的所有 token。使用 KV 缓存时,每个生成步骤只为最新 token 计算键和值,其余内容则从内存中读取,因此长回复也切实可行。代价是内存占用:缓存会随着每个 token 增长,在长上下文或高批量服务场景中,缓存通常比模型权重占用更多 GPU 内存。

KV 缓存的工作原理#

在每个注意力层中,每个 token 都会映射为一个查询、一个键和一个值。一个 token 的查询会与它能够看到的所有 token 的键进行比较,得到的权重会将这些 token 的值混合成输出。在仅解码器 LLM 中,一个 token 只能看到自身和之前的 token,因此过去 token 的键和值一经计算便不会改变。生成过程因此分为两个阶段。在预填充阶段,模型并行处理整个提示并填充缓存。在解码阶段,模型每步生成一个 token,并将该 token 的键和值添加到缓存中,直到输出序列结束 token 或达到长度限制:

预填充受计算能力限制,因为它需要同时对大量 token 执行大型矩阵乘法。解码受内存带宽限制,因为每一步都要读取整个缓存和所有模型权重,才能生成单个 token。

它为何能加快生成速度#

不使用缓存时,步骤 t 会重新计算目前生成的所有 t 个 token 的键和值,因此总计算量会随输出长度呈二次增长。使用缓存后,每一步只需为每层添加一个键和一个值。下面的单头示例使用缓存解码一个 10-token 序列,并将最终输出与完整重新计算的结果进行比对:

import torch

torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5  # one attention head's projections
tokens = torch.randn(10, d)  # embeddings of a 10-token sequence

# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
    k_cache = torch.cat([k_cache, (x @ w_k)[None]])
    v_cache = torch.cat([v_cache, (x @ w_v)[None]])
    out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache

# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full

print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")

它会输出 Same output: True 和 cached 10, recomputed 55:缓存只为每个 token 投影一次,结果与每一步都从头开始时的 1 + 2 + ... + 10 次投影完全相同。

  • 提示缓存:保留共享提示前缀(例如较长的系统提示或文档)的 KV 缓存,并在不同请求之间复用,这样后续请求就能跳过该部分的预填充。
  • 模型权重:训练过程中学到的固定参数,所有请求共用。KV 缓存属于单个序列,并会在该序列结束时丢弃。
  • 嵌入:token 进入模型时用于表示该 token 的向量。每一层都会根据 token 的隐藏状态生成自己的键和值,因此缓存会为每一层中的每个 token 保存一个键和一个值。
  • 语义缓存:存储完整回复,并将这些回复返回给之后的相似查询,从而完全跳过模型。

视觉模型中的 KV 缓存#

视觉语言模型(VLM)会将图像转换为数百或数千个视觉 token,这些 token 像文本 token 一样进入 KV 缓存,因此单张高分辨率图像占用的缓存就可能相当于数页文本。流式视频模型也会随着每一帧不断增加缓存。Meta 的 SAM 2 在 Ultralytics Python 软件包中运行,并将类似的缓存机制用于视频分割:其记忆库存储先前帧的编码特征,记忆注意力会在分割每一帧新画面时读取这些特征,从而在物体被遮挡时持续跟踪物体,无需重新处理过去的帧。

内存开销及其优化方法#

缓存会为每一层、每个键值头中的每个 token 保存两个向量,即一个键和一个值,因此其大小为 2 × 层数 × KV 头数 × 头维度 × 每个值的字节数 × token 数。以 FP16 格式运行 Llama 2 7B,包含 32 层、32 个头且头维度为 128 时,每个 token 占用 512 KiB,一个包含 4,096 个 token 的序列则占用 2 GiB。服务系统会使用多种技术,让内存容纳更多序列:

  • 分组查询注意力(GQA):多个查询头共用一个键值头。Llama 3 8B 使用 8 个 KV 头来对应 32 个查询头,将缓存缩减至每个 token 128 KiB。
  • PagedAttention:像虚拟内存页一样,以固定大小的块存储缓存,随着序列增长逐步分配内存。该技术随 vLLM 服务引擎一同推出,使吞吐量较早期系统提升了 2–4 倍。
  • KV 缓存量化:使用 FP8 或 INT8 而不是 FP16 存储键和值,将缓存大小减半。
  • 滑动窗口注意力:每一层只关注最近的 token,将缓存大小限制在窗口范围内。
  • 多头潜在注意力(MLA):将键和值压缩为一个较小的共享潜在向量后再缓存。与早期的 DeepSeek 67B 模型相比,DeepSeek-V2 将 KV 缓存缩小了 93.3%。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来