YOLOのライセンス
Ultralytics用語集に戻る

Context Parallelism

コンテキスト並列化では、1つの長い入力シーケンスを複数のGPUに分割します。GPU間でAttention中にキーと値を交換することで、各GPUに必要なメモリを削減します。

コンテキスト並列処理 (CP) は、1つの長い入力シーケンスを複数のGPUに分割する分散学習手法です。各GPUはトークンと、それらから計算されるすべての活性化のうち、連続またはインターリーブされた一部を保持するため、デバイスを追加するほど各デバイスが必要とするメモリが減ります。正規化やフィードフォワードブロックのようにトークンを個別に処理するレイヤーは、通信なしでローカルトークン上を実行します。一方、自己注意機構では、各クエリがすべてのキーを参照する可能性があるため、例外としてGPU間でキーと値を交換し、シーケンス全体に対する注意機構と完全に同じ出力を生成します。これは、モデルのアーキテクチャと学習によって長さが固定される特定のコンテキストウィンドウを実行するためのシステム手法です。

GPU間でキーと値を共有する方法#

実装の主な違いは、必要なGPUにキーと値を届ける方法です。

  • リング注意機構:GPUがリング状に並び、各GPUが保持するブロックを計算しながらキーと値のブロックを隣のGPUに渡すことで、転送を計算処理の背後に隠します。
  • All-gather:各GPUがすべてのキーと値を収集し、自身のクエリに対する注意機構を計算します。Metaは、ドキュメントマスクを容易にサポートでき、グループ化クエリ注意機構ではキーと値がクエリよりはるかに小さいことから、Llama 3でこの方式を採用しました。
  • All-to-all:DeepSpeed Ulyssesはデータを再配置し、各GPUが一部の注意ヘッドについてすべてのトークンを保持するようにします。そのため、並列度の上限はヘッド数になります。

PyTorchの実験的なコンテキスト並列APIは、context_parallel()ブロック内でスケールド・ドット積注意機構をリング注意機構に置き換えます。また、NVIDIAのMegatron-Coreは、順伝播時にリング状のポイントツーポイント転送でキーと値を収集し、逆伝播時にその勾配をreduce-scatterします。CPは、テンソル並列処理と並行してレイヤー正規化とdropoutの活性化のみを分割する、Megatronの従来のシーケンス並列処理とは異なります。CPは入力とすべての活性化をシーケンス方向に分割するためです。

因果注意機構の負荷分散#

因果マスクでは、トークンiはその前にあるi個のトークンと自身だけに注目するため、後方のトークンほど計算量が増えます。シーケンスの連続した4分の1ずつを各GPUに割り当てると、最初のGPUの処理量は少なく、最後のGPUの処理量は最も多くなり、最も忙しいGPUに処理速度が左右されます。Llama 3とMegatron-Coreは、シーケンスをGPU数の2倍のチャンクに分割し、各GPUに前方のチャンク1つと、末尾側で対になるチャンクを1つずつ割り当てます。

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # 因果マスクでは、トークンiはi + 1個のキーに注目する

# 連続分割:ランクrはシーケンスのr番目の4分の1を担当する
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# 負荷分散分割:2 * ranks個のチャンクに分け、ランクrはチャンクrと末尾側で対になるチャンクを担当する
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

連続分割では、4つのGPUの注意スコアは[2.1, 6.3, 10.5, 14.7]百万となり、負荷の差は7倍です。末尾側で対にする分割では、各GPUが8.4百万を処理します。

コンテキスト並列処理の用途#

長い文書やコードベースを使った大規模言語モデル (LLM)の学習が主な用途です。Metaは、16,384基のH100 GPUでテンソル、パイプライン、データ並列処理とともに16-wayのコンテキスト並列処理を使い、Llama 3 405Bを131,072トークンのシーケンスに拡張しました。BF16のピークスループットに対する割合は38%で、同じクラスターを8,192トークンで使用した場合の41%と比較されます。もう1つの用途は動画です。MetaのMovie Genは、約73,000トークンとしてエンコードされたクリップで300億パラメーターの動画生成モデルを学習し、テンソル、シーケンス、完全シャーディングデータ並列処理とコンテキスト並列処理を使用しました。長尺動画向けのビジョン・言語モデルや動画理解システムも同じ制約に直面します。各フレームが数百個のトークンを追加するためです。

コンテキスト並列処理は、ほかの手法と組み合わせられます。

  • パイプライン並列処理:モデルのレイヤーを複数のGPUに分割します。
  • データ並列処理:バッチを、モデル全体の複製間で分割します。
  • Flash Attention:1つのGPU上で注意行列を保存せずに済むようにします。コンテキスト並列処理の実装では、各GPUのローカルブロックで同様のカーネルを実行します。

画像モデルがこうしたシーケンス長に達するのは非常に高解像度の場合に限られます。シーケンス長はパッチ数または特徴マップ上の位置数に応じて増加するためです。Ultralytics YOLO26は、最も粗いストライド32の特徴マップのみに自己注意機構を配置しており、これはモデル設定のレイヤー10と22にあたります。そのため、デフォルトのimgsz=640では400位置、imgsz=1280では1,600位置を注意機構が処理します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう