KV Cache
KVキャッシュは、過去のトークンのキーと値を保存し、Transformerがそれらを再計算せずに済むようにして、LLMの生成を高速化します。仕組みとメモリコストについて解説します。
KVキャッシュ(key-value cache)は、Transformerのアテンション層が以前のトークンについて計算したキーと値のベクトルを保存するため、モデルが次のトークンを生成する際に再計算する必要がありません。大規模言語モデル(LLMs)はテキストを生成する際に、トークンを1つずつ出力し、新しいトークンはその前にあるすべてのトークンにアテンションを向ける必要があります。KVキャッシュを使うと、生成ステップごとに最新トークンのキーと値だけを計算し、残りはメモリから読み出せるため、長い応答も実用的になります。代償はメモリです。キャッシュはトークンごとに増大し、長いコンテキストや高バッチ推論では、モデルの重みより多くのGPUメモリを必要とすることもよくあります。
KVキャッシュの仕組み#
各アテンション層では、すべてのトークンをクエリ、キー、値に射影します。トークンのクエリを、そのトークンが参照できるすべてのトークンのキーと比較し、得られた重みでそれらの値を混合して出力を生成します。デコーダーのみのLLMでは、トークンが参照できるのは自身とそれ以前のトークンだけなので、過去のトークンのキーと値は一度計算すれば変化しません。そのため、生成は2つのフェーズで進みます。プリフィルフェーズでは、モデルがプロンプト全体を並列処理してキャッシュを埋めます。デコードフェーズでは、終了トークンを出力するか長さ制限に達するまで、1ステップにつき1トークンを生成し、そのトークンのキーと値をキャッシュに追加します。
プリフィルは多数のトークンに対して大規模な行列乗算を一度に実行するため、計算能力が制約になります。デコードは1トークンを生成するために毎ステップでキャッシュ全体とモデルの重みを読み込むため、メモリ帯域幅が制約になります。
生成が高速化する理由#
キャッシュがない場合、ステップ t では、それまでに生成したt個のトークンすべてについてキーと値を再計算するため、出力の長さに対する総処理量は二次関数的に増加します。キャッシュを使えば、各ステップで層ごとにキーと値を1つずつ追加します。以下の単一ヘッドの例では、キャッシュを使って10トークンの系列をデコードし、最終出力を全体の再計算結果と照合します。
import torch
torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5 # one attention head's projections
tokens = torch.randn(10, d) # embeddings of a 10-token sequence
# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
k_cache = torch.cat([k_cache, (x @ w_k)[None]])
v_cache = torch.cat([v_cache, (x @ w_v)[None]])
out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache
# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full
print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")Same output: Trueとcached 10, recomputed 55が出力されます。キャッシュを使うと各トークンを1回だけ射影して同一の結果が得られますが、各ステップで最初から計算し直す場合は、射影の回数が1 + 2 + ... + 10になります。
KVキャッシュと関連概念#
- プロンプトキャッシュ: 長いシステムプロンプトや文書など、共有プロンプトのプレフィックスに対するKVキャッシュを保持し、複数のリクエスト間で再利用します。これにより、後続のリクエストではその部分のプリフィルを省略できます。
- モデルの重み: 学習で獲得され、すべてのリクエストで共有される固定パラメーターです。KVキャッシュは1つの系列に属し、その系列が終了すると破棄されます。
- 埋め込み: 各トークンがモデルに入力される際に、そのトークンを表すベクトルです。各層はトークンの隠れ状態から独自のキーと値を導出するため、キャッシュにはトークンごと、層ごとにキーと値が1つずつ格納されます。
- セマンティックキャッシュ: 応答全体を保存し、後から類似するクエリがあった際にその応答を返すことで、モデルの実行を丸ごと省略します。
ビジョンモデルにおけるKVキャッシュ#
視覚言語モデル(VLM)は、画像を数百から数千の視覚トークンに変換し、それらのトークンはテキストと同様にKVキャッシュに入るため、高解像度画像1枚だけでテキスト数ページ分のキャッシュを占めることがあります。ストリーミング動画モデルでも、フレームごとに同様にキャッシュが増大します。Ultralytics Pythonパッケージで実行できるMetaのSAM 2は、動画セグメンテーションに同様のキャッシュを適用します。メモリバンクが過去のフレームのエンコード済み特徴を保存し、新しいフレームをセグメンテーションするたびにメモリアテンションでそれらを読み出すことで、過去のフレームを再処理せずに遮蔽をまたいでオブジェクトを追跡できます。
メモリコストと削減方法#
キャッシュには、すべての層とキー・バリューヘッドについて、トークンごとにキーと値の2つのベクトルが格納されるため、そのサイズは2 × 層数 × KVヘッド数 × ヘッド次元 × 値あたりのバイト数 × トークン数です。FP16のLlama 2 7Bで、層数32、ヘッド数32、ヘッド次元128の場合、トークンあたり512 KiB、4,096トークンの系列1つあたり2 GiBになります。推論サービングシステムでは、メモリにより多くの系列を収めるため、いくつかの手法を使います。
- グループ化クエリアテンション(GQA): 複数のクエリヘッドで1つのキー・バリューヘッドを共有します。Llama 3 8Bでは、32個のクエリヘッドに対してKVヘッドを8個使い、キャッシュをトークンあたり128 KiBに削減します。
- PagedAttention: 仮想メモリのページのように、キャッシュを固定サイズのブロックに格納することで、系列の増加に合わせてメモリを割り当てます。vLLMサービングエンジンとともに導入され、従来のシステムに比べてスループットを2~4倍に高めました。
- KVキャッシュの量子化: キーと値をFP16ではなくFP8またはINT8で格納し、キャッシュを半分のサイズにします。
- スライディングウィンドウアテンション: 各層が直近のトークンだけにアテンションを向けるため、キャッシュのサイズはウィンドウの大きさに制限されます。
- マルチヘッド潜在アテンション(MLA): キャッシュする前にキーと値を小さな共有潜在ベクトルに圧縮します。DeepSeek-V2では、従来のDeepSeek 67Bモデルに比べてKVキャッシュを93.3%削減しました。










