YOLOのライセンス
Ultralytics用語集に戻る

KV Cache

KVキャッシュは、過去のトークンのキーと値を保存し、Transformerがそれらを再計算せずに済むようにして、LLMの生成を高速化します。仕組みとメモリコストについて解説します。

KVキャッシュ(key-value cache)は、Transformerのアテンション層が以前のトークンについて計算したキーと値のベクトルを保存するため、モデルが次のトークンを生成する際に再計算する必要がありません。大規模言語モデル(LLMs)はテキストを生成する際に、トークンを1つずつ出力し、新しいトークンはその前にあるすべてのトークンにアテンションを向ける必要があります。KVキャッシュを使うと、生成ステップごとに最新トークンのキーと値だけを計算し、残りはメモリから読み出せるため、長い応答も実用的になります。代償はメモリです。キャッシュはトークンごとに増大し、長いコンテキストや高バッチ推論では、モデルの重みより多くのGPUメモリを必要とすることもよくあります。

KVキャッシュの仕組み#

各アテンション層では、すべてのトークンをクエリ、キー、値に射影します。トークンのクエリを、そのトークンが参照できるすべてのトークンのキーと比較し、得られた重みでそれらの値を混合して出力を生成します。デコーダーのみのLLMでは、トークンが参照できるのは自身とそれ以前のトークンだけなので、過去のトークンのキーと値は一度計算すれば変化しません。そのため、生成は2つのフェーズで進みます。プリフィルフェーズでは、モデルがプロンプト全体を並列処理してキャッシュを埋めます。デコードフェーズでは、終了トークンを出力するか長さ制限に達するまで、1ステップにつき1トークンを生成し、そのトークンのキーと値をキャッシュに追加します。

プリフィルは多数のトークンに対して大規模な行列乗算を一度に実行するため、計算能力が制約になります。デコードは1トークンを生成するために毎ステップでキャッシュ全体とモデルの重みを読み込むため、メモリ帯域幅が制約になります。

生成が高速化する理由#

キャッシュがない場合、ステップ t では、それまでに生成したt個のトークンすべてについてキーと値を再計算するため、出力の長さに対する総処理量は二次関数的に増加します。キャッシュを使えば、各ステップで層ごとにキーと値を1つずつ追加します。以下の単一ヘッドの例では、キャッシュを使って10トークンの系列をデコードし、最終出力を全体の再計算結果と照合します。

import torch

torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5  # one attention head's projections
tokens = torch.randn(10, d)  # embeddings of a 10-token sequence

# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
    k_cache = torch.cat([k_cache, (x @ w_k)[None]])
    v_cache = torch.cat([v_cache, (x @ w_v)[None]])
    out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache

# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full

print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")

Same output: Trueとcached 10, recomputed 55が出力されます。キャッシュを使うと各トークンを1回だけ射影して同一の結果が得られますが、各ステップで最初から計算し直す場合は、射影の回数が1 + 2 + ... + 10になります。

  • プロンプトキャッシュ: 長いシステムプロンプトや文書など、共有プロンプトのプレフィックスに対するKVキャッシュを保持し、複数のリクエスト間で再利用します。これにより、後続のリクエストではその部分のプリフィルを省略できます。
  • モデルの重み: 学習で獲得され、すべてのリクエストで共有される固定パラメーターです。KVキャッシュは1つの系列に属し、その系列が終了すると破棄されます。
  • 埋め込み: 各トークンがモデルに入力される際に、そのトークンを表すベクトルです。各層はトークンの隠れ状態から独自のキーと値を導出するため、キャッシュにはトークンごと、層ごとにキーと値が1つずつ格納されます。
  • セマンティックキャッシュ: 応答全体を保存し、後から類似するクエリがあった際にその応答を返すことで、モデルの実行を丸ごと省略します。

ビジョンモデルにおけるKVキャッシュ#

視覚言語モデル(VLM)は、画像を数百から数千の視覚トークンに変換し、それらのトークンはテキストと同様にKVキャッシュに入るため、高解像度画像1枚だけでテキスト数ページ分のキャッシュを占めることがあります。ストリーミング動画モデルでも、フレームごとに同様にキャッシュが増大します。Ultralytics Pythonパッケージで実行できるMetaのSAM 2は、動画セグメンテーションに同様のキャッシュを適用します。メモリバンクが過去のフレームのエンコード済み特徴を保存し、新しいフレームをセグメンテーションするたびにメモリアテンションでそれらを読み出すことで、過去のフレームを再処理せずに遮蔽をまたいでオブジェクトを追跡できます。

メモリコストと削減方法#

キャッシュには、すべての層とキー・バリューヘッドについて、トークンごとにキーと値の2つのベクトルが格納されるため、そのサイズは2 × 層数 × KVヘッド数 × ヘッド次元 × 値あたりのバイト数 × トークン数です。FP16のLlama 2 7Bで、層数32、ヘッド数32、ヘッド次元128の場合、トークンあたり512 KiB、4,096トークンの系列1つあたり2 GiBになります。推論サービングシステムでは、メモリにより多くの系列を収めるため、いくつかの手法を使います。

  • グループ化クエリアテンション(GQA): 複数のクエリヘッドで1つのキー・バリューヘッドを共有します。Llama 3 8Bでは、32個のクエリヘッドに対してKVヘッドを8個使い、キャッシュをトークンあたり128 KiBに削減します。
  • PagedAttention: 仮想メモリのページのように、キャッシュを固定サイズのブロックに格納することで、系列の増加に合わせてメモリを割り当てます。vLLMサービングエンジンとともに導入され、従来のシステムに比べてスループットを2~4倍に高めました。
  • KVキャッシュの量子化: キーと値をFP16ではなくFP8またはINT8で格納し、キャッシュを半分のサイズにします。
  • スライディングウィンドウアテンション: 各層が直近のトークンだけにアテンションを向けるため、キャッシュのサイズはウィンドウの大きさに制限されます。
  • マルチヘッド潜在アテンション(MLA): キャッシュする前にキーと値を小さな共有潜在ベクトルに圧縮します。DeepSeek-V2では、従来のDeepSeek 67Bモデルに比べてKVキャッシュを93.3%削減しました。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう