Distributed Training

分散学習は、機械学習においてモデルのトレーニング負荷を複数のプロセッサやマシンに分散させる手法です。このアプローチは、単一のデバイスではトレーニングに非現実的な時間がかかるような、大規模なデータセットや複雑なニューラルネットワークアーキテクチャを処理するために不可欠です。複数のGraphics Processing Units (GPUs)やTensor Processing Units (TPUs)の結合された計算能力を活用することにより、分散学習は開発サイクルを大幅に加速させ、研究者やエンジニアがより迅速に反復を行い、モデルでより高いaccuracyを達成することを可能にします。

分散学習の仕組み#

分散学習の核心は並列化です。データを1つのチップで逐次処理するのではなく、タスクを小さな塊に分割して同時に処理します。これを実現するための主な戦略は2つあります。

• Data Parallelism: これは、object detectionなどのタスクで最も一般的なアプローチです。このセットアップでは、モデル全体のコピーがすべてのデバイスに配置されます。グローバルなtraining dataは小さなバッチに分割され、各デバイスが同時に異なるバッチを処理します。各ステップの後、model weightsが一貫性を保つように、勾配（モデルの更新）がすべてのデバイス間で同期されます。
• Model Parallelism: neural network (NN)が大きすぎて単一のGPUのメモリに収まらない場合、モデル自体が複数のデバイスに分割されます。モデルの異なるレイヤーやコンポーネントが異なるチップに常駐し、それらの間でデータが流れます。これは、大規模なfoundation modelsやLarge Language Models (LLMs)をトレーニングするために必要であることがよくあります。

実社会での応用#

分散学習は、以前は計算的に不可能だった問題を解決できるようにすることで、産業を大きく変革しました。

• 自動運転: 安全なautonomous vehiclesを開発するには、ペタバイト単位のビデオおよびセンサーデータの分析が必要です。自動車エンジニアは、リアルタイムのsemantic segmentationや車線検出のためのビジョンモデルをトレーニングするために、大規模な分散クラスターを使用します。この大規模なスケールにより、AI in automotiveシステムが多様な道路状況に確実に対応できるようになります。
• 医療画像処理: ヘルスケア部門では、MRIなどの高解像度3Dスキャンの分析に多大なメモリと処理能力が必要です。分散学習により、研究者はtumor detectionやその他の重要なタスク向けの高性能な診断ツールを構築できます。NVIDIA MONAIなどのフレームワークを使用することで、病院はメモリのボトルネックに直面することなく多様なデータセットでモデルをトレーニングでき、AI in healthcareの結果を改善できます。

Ultralyticsで分散学習を活用する#

ultralyticsライブラリを使用すると、分散データ並列 (DDP) トレーニングを簡単に実装できます。トレーニング引数でデバイスインデックスを指定するだけで、最先端のYOLO26モデルのトレーニングを複数のGPUにわたってスケールさせることができます。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])

関連概念と比較#

機械学習のエコシステムにおける同様の用語と分散学習を区別し、それぞれの役割を理解することは有益です。

• フェデレーテッドラーニングとの違い: どちらも複数のデバイスに関与しますが、その目的は異なります。分散学習は通常、速度を最大化するために高性能クラスターにデータを集中させます。対照的に、federated learningはdata privacyを優先するためにデータをユーザーのデバイス（スマートフォンなど）上に分散させたままにし、生データがソースから流出することなくグローバルモデルを更新します。
• ハイパフォーマンスコンピューティング (HPC) との違い: HPCは、気象予報などの科学的シミュレーションのためのスーパーコンピューティングを含む幅広い分野です。分散学習は、ディープラーニングにおけるoptimization algorithmsに適用されるHPCの特定のアプリケーションです。GPU間のレイテンシを最小限に抑えるために、NVIDIA NCCLのような特殊な通信ライブラリに依存することがよくあります。

クラウドプラットフォームでのスケーリング#

分散学習のためのインフラストラクチャの管理は複雑になる場合があります。現代のプラットフォームは、管理された環境を提供することでこれを簡素化します。たとえば、Ultralytics Platformを使用すると、ユーザーはデータセットを管理し、クラウド環境やローカルクラスターにデプロイできるトレーニング実行を開始できます。この統合により、data annotationから最終的なmodel deploymentまでのワークフローが合理化され、複数のGPUへのスケールアップが可能な限りシームレスになります。同様に、Google Cloud Vertex AIやAmazon SageMakerなどのクラウドプロバイダーは、エンタープライズ規模で分散学習ジョブを実行するためのロバストなインフラストラクチャを提供します。