ページ単位の注目

PagedAttentionは、大規模言語モデル（LLM）の推論速度と スループットを最適化するために設計された、高効率なメモリ管理アルゴリズムです。従来のオペレーティングシステムにおける 仮想メモリやページングの概念に着想を得たこの手法は、テキスト生成時に キーバリューキャッシュ（しばしば KVキャッシュと呼ばれる）に伴う膨大な メモリ消費に対処します。 キャッシュに必要な 連続したメモリブロックを、より小さな非連続な「ページ」に分割することで、PagedAttentionは 内部および外部のメモリ断片化を効果的に解消します。これにより、AIサーバーは同時に処理できるリクエスト数を大幅に 増やし、GPU 最大化することが可能になります。

ページ単位の注目度 vs. 瞬間的な注目度

どちらの手法もニューラルネットワークの性能を最適化しますが、対処するボトルネックは異なります。 Flash Attentionは、GPU 全体におけるメモリの読み書き処理の遅延を最小限に抑えることで、 アテンション機構そのものの処理を高速化する 計算レベルの最適化手法です。一方、PagedAttentionはメモリ 割り当て戦略です。これは、コンテキストウィンドウ用のメモリが どのように構成され、格納されるかに純粋に焦点を当てており、 無駄の多い大規模なメモリブロックを事前に割り当てることなく、 動的なスケーリングを可能にします。

実際のアプリケーション

PagedAttentionによって実現されたメモリ効率の向上は、大規模生成モデルの本番環境への導入方法を 一変させました。

1. 高スループットAPI提供:GPT-4に類似したモデルを提供する本番システムでは、 vLLMなどのフレームワークを通じてPagedAttentionが利用されています。異なるユーザーリクエスト間でメモリブロックを共有することで、プロバイダーは 同じハードウェア上で最大4倍のユーザーに対応できるようになり、クラウドベースのAI サービスの運用コストを大幅に削減できます。
2. 複雑なデコード戦略: AIモデルが一度に複数の候補応答を生成する場合（ビーム検索や並列サンプリングなど）、 PagedAttentionにより、これらの並列シーケンスが同じ基礎となるメモリページを安全に共有できるようになります。これにより、 システムが冗長なメモリを複製することを防ぎ、複雑な推論タスクを大幅に高速化します。

コンピュータビジョンにおけるメモリ効率

PagedAttentionは主に自然言語処理で利用されていますが、その根底にある厳格なメモリ 最適化の原則は、 コンピュータビジョン（CV）においても同様に重要です。ハードウェアに制約のあるエッジデバイスに モデルを展開する際には、メモリの肥大化を防ぐことが不可欠です。 Ultralytics 、 エンドツーエンドのNMSアーキテクチャを採用することで、 煩雑なキャッシュ管理の必要性を排除し、ネイティブにリアルタイム推論効率を実現します。

オブジェクト検出パイプラインのメモリ要件やエクスポート要件をシームレスに処理したい開発者のために、 Ultralytics 、 ハードウェア上で最適に実行できるようモデルをパッケージ化する 自動デプロイメントツールを提供しています。

コード例

PagedAttentionは、サービングフレームワークの内部で動作し、標準の注意関数を 最適化されたCuda 置き換えます。以下は、PyTorchで標準の注意関数をどのように定義できるかを示す概念的な例です。 PyTorchで標準的なアテンションを定義する概念的な例を示しています。vLLMのようなシステムは、モデルデプロイメント時にこれを自動的にインターセプトし、 ページングを使用して最適化します。

import torch
import torch.nn.functional as F

# Simulated Key, Query, and Value tensors for a standard attention block
batch_size, num_heads, sequence_length, head_dim = 1, 8, 1024, 64
query = torch.randn(batch_size, num_heads, sequence_length, head_dim)
key = torch.randn(batch_size, num_heads, sequence_length, head_dim)
value = torch.randn(batch_size, num_heads, sequence_length, head_dim)

# Standard attention computation (often replaced by PagedAttention kernels in production LLM servers)
attention_output = F.scaled_dot_product_attention(query, key, value)

print(f"Computed attention shape: {attention_output.shape}")

高度なメモリ割り当て戦略を活用することで、AI業界は可能性の限界を押し広げ続け、 大規模な基盤モデルを世界中で効率的に拡張・利用できるようにしています。