Context Parallelism
コンテキスト並列化では、1つの長い入力シーケンスを複数のGPUに分割します。GPU間でAttention中にキーと値を交換することで、各GPUに必要なメモリを削減します。
コンテキスト並列処理 (CP) は、1つの長い入力シーケンスを複数のGPUに分割する分散学習手法です。各GPUはトークンと、それらから計算されるすべての活性化のうち、連続またはインターリーブされた一部を保持するため、デバイスを追加するほど各デバイスが必要とするメモリが減ります。正規化やフィードフォワードブロックのようにトークンを個別に処理するレイヤーは、通信なしでローカルトークン上を実行します。一方、自己注意機構では、各クエリがすべてのキーを参照する可能性があるため、例外としてGPU間でキーと値を交換し、シーケンス全体に対する注意機構と完全に同じ出力を生成します。これは、モデルのアーキテクチャと学習によって長さが固定される特定のコンテキストウィンドウを実行するためのシステム手法です。
GPU間でキーと値を共有する方法#
実装の主な違いは、必要なGPUにキーと値を届ける方法です。
- リング注意機構:GPUがリング状に並び、各GPUが保持するブロックを計算しながらキーと値のブロックを隣のGPUに渡すことで、転送を計算処理の背後に隠します。
- All-gather:各GPUがすべてのキーと値を収集し、自身のクエリに対する注意機構を計算します。Metaは、ドキュメントマスクを容易にサポートでき、グループ化クエリ注意機構ではキーと値がクエリよりはるかに小さいことから、Llama 3でこの方式を採用しました。
- All-to-all:DeepSpeed Ulyssesはデータを再配置し、各GPUが一部の注意ヘッドについてすべてのトークンを保持するようにします。そのため、並列度の上限はヘッド数になります。
PyTorchの実験的なコンテキスト並列APIは、context_parallel()ブロック内でスケールド・ドット積注意機構をリング注意機構に置き換えます。また、NVIDIAのMegatron-Coreは、順伝播時にリング状のポイントツーポイント転送でキーと値を収集し、逆伝播時にその勾配をreduce-scatterします。CPは、テンソル並列処理と並行してレイヤー正規化とdropoutの活性化のみを分割する、Megatronの従来のシーケンス並列処理とは異なります。CPは入力とすべての活性化をシーケンス方向に分割するためです。
因果注意機構の負荷分散#
因果マスクでは、トークンiはその前にあるi個のトークンと自身だけに注目するため、後方のトークンほど計算量が増えます。シーケンスの連続した4分の1ずつを各GPUに割り当てると、最初のGPUの処理量は少なく、最後のGPUの処理量は最も多くなり、最も忙しいGPUに処理速度が左右されます。Llama 3とMegatron-Coreは、シーケンスをGPU数の2倍のチャンクに分割し、各GPUに前方のチャンク1つと、末尾側で対になるチャンクを1つずつ割り当てます。
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # 因果マスクでは、トークンiはi + 1個のキーに注目する
# 連続分割:ランクrはシーケンスのr番目の4分の1を担当する
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# 負荷分散分割:2 * ranks個のチャンクに分け、ランクrはチャンクrと末尾側で対になるチャンクを担当する
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])連続分割では、4つのGPUの注意スコアは[2.1, 6.3, 10.5, 14.7]百万となり、負荷の差は7倍です。末尾側で対にする分割では、各GPUが8.4百万を処理します。
コンテキスト並列処理の用途#
長い文書やコードベースを使った大規模言語モデル (LLM)の学習が主な用途です。Metaは、16,384基のH100 GPUでテンソル、パイプライン、データ並列処理とともに16-wayのコンテキスト並列処理を使い、Llama 3 405Bを131,072トークンのシーケンスに拡張しました。BF16のピークスループットに対する割合は38%で、同じクラスターを8,192トークンで使用した場合の41%と比較されます。もう1つの用途は動画です。MetaのMovie Genは、約73,000トークンとしてエンコードされたクリップで300億パラメーターの動画生成モデルを学習し、テンソル、シーケンス、完全シャーディングデータ並列処理とコンテキスト並列処理を使用しました。長尺動画向けのビジョン・言語モデルや動画理解システムも同じ制約に直面します。各フレームが数百個のトークンを追加するためです。
コンテキスト並列処理は、ほかの手法と組み合わせられます。
- パイプライン並列処理:モデルのレイヤーを複数のGPUに分割します。
- データ並列処理:バッチを、モデル全体の複製間で分割します。
- Flash Attention:1つのGPU上で注意行列を保存せずに済むようにします。コンテキスト並列処理の実装では、各GPUのローカルブロックで同様のカーネルを実行します。
画像モデルがこうしたシーケンス長に達するのは非常に高解像度の場合に限られます。シーケンス長はパッチ数または特徴マップ上の位置数に応じて増加するためです。Ultralytics YOLO26は、最も粗いストライド32の特徴マップのみに自己注意機構を配置しており、これはモデル設定のレイヤー10と22にあたります。そのため、デフォルトのimgsz=640では400位置、imgsz=1280では1,600位置を注意機構が処理します。










