KV Cache
KV 缓存会存储先前 token 的键和值,使 Transformer 无需重复计算这些内容,从而加快 LLM 生成。内容涵盖其工作原理和内存开销。
KV 缓存(键值缓存)存储 Transformer 注意力层已经为先前 token 计算出的键向量和值向量,因此模型生成下一个 token 时无需重新计算。大型语言模型(LLM)每次生成文本时只输出一个token,而每个新 token 都必须关注它之前的所有 token。使用 KV 缓存时,每个生成步骤只为最新 token 计算键和值,其余内容则从内存中读取,因此长回复也切实可行。代价是内存占用:缓存会随着每个 token 增长,在长上下文或高批量服务场景中,缓存通常比模型权重占用更多 GPU 内存。
KV 缓存的工作原理#
在每个注意力层中,每个 token 都会映射为一个查询、一个键和一个值。一个 token 的查询会与它能够看到的所有 token 的键进行比较,得到的权重会将这些 token 的值混合成输出。在仅解码器 LLM 中,一个 token 只能看到自身和之前的 token,因此过去 token 的键和值一经计算便不会改变。生成过程因此分为两个阶段。在预填充阶段,模型并行处理整个提示并填充缓存。在解码阶段,模型每步生成一个 token,并将该 token 的键和值添加到缓存中,直到输出序列结束 token 或达到长度限制:
预填充受计算能力限制,因为它需要同时对大量 token 执行大型矩阵乘法。解码受内存带宽限制,因为每一步都要读取整个缓存和所有模型权重,才能生成单个 token。
它为何能加快生成速度#
不使用缓存时,步骤 t 会重新计算目前生成的所有 t 个 token 的键和值,因此总计算量会随输出长度呈二次增长。使用缓存后,每一步只需为每层添加一个键和一个值。下面的单头示例使用缓存解码一个 10-token 序列,并将最终输出与完整重新计算的结果进行比对:
import torch
torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5 # one attention head's projections
tokens = torch.randn(10, d) # embeddings of a 10-token sequence
# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
k_cache = torch.cat([k_cache, (x @ w_k)[None]])
v_cache = torch.cat([v_cache, (x @ w_v)[None]])
out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache
# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full
print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")它会输出 Same output: True 和 cached 10, recomputed 55:缓存只为每个 token 投影一次,结果与每一步都从头开始时的 1 + 2 + ... + 10 次投影完全相同。
KV 缓存与相关概念#
- 提示缓存:保留共享提示前缀(例如较长的系统提示或文档)的 KV 缓存,并在不同请求之间复用,这样后续请求就能跳过该部分的预填充。
- 模型权重:训练过程中学到的固定参数,所有请求共用。KV 缓存属于单个序列,并会在该序列结束时丢弃。
- 嵌入:token 进入模型时用于表示该 token 的向量。每一层都会根据 token 的隐藏状态生成自己的键和值,因此缓存会为每一层中的每个 token 保存一个键和一个值。
- 语义缓存:存储完整回复,并将这些回复返回给之后的相似查询,从而完全跳过模型。
视觉模型中的 KV 缓存#
视觉语言模型(VLM)会将图像转换为数百或数千个视觉 token,这些 token 像文本 token 一样进入 KV 缓存,因此单张高分辨率图像占用的缓存就可能相当于数页文本。流式视频模型也会随着每一帧不断增加缓存。Meta 的 SAM 2 在 Ultralytics Python 软件包中运行,并将类似的缓存机制用于视频分割:其记忆库存储先前帧的编码特征,记忆注意力会在分割每一帧新画面时读取这些特征,从而在物体被遮挡时持续跟踪物体,无需重新处理过去的帧。
内存开销及其优化方法#
缓存会为每一层、每个键值头中的每个 token 保存两个向量,即一个键和一个值,因此其大小为 2 × 层数 × KV 头数 × 头维度 × 每个值的字节数 × token 数。以 FP16 格式运行 Llama 2 7B,包含 32 层、32 个头且头维度为 128 时,每个 token 占用 512 KiB,一个包含 4,096 个 token 的序列则占用 2 GiB。服务系统会使用多种技术,让内存容纳更多序列:
- 分组查询注意力(GQA):多个查询头共用一个键值头。Llama 3 8B 使用 8 个 KV 头来对应 32 个查询头,将缓存缩减至每个 token 128 KiB。
- PagedAttention:像虚拟内存页一样,以固定大小的块存储缓存,随着序列增长逐步分配内存。该技术随 vLLM 服务引擎一同推出,使吞吐量较早期系统提升了 2–4 倍。
- KV 缓存量化:使用 FP8 或 INT8 而不是 FP16 存储键和值,将缓存大小减半。
- 滑动窗口注意力:每一层只关注最近的 token,将缓存大小限制在窗口范围内。
- 多头潜在注意力(MLA):将键和值压缩为一个较小的共享潜在向量后再缓存。与早期的 DeepSeek 67B 模型相比,DeepSeek-V2 将 KV 缓存缩小了 93.3%。










