Mixture of Experts (MoE)

Mixture of Experts (MoE) は、ディープラーニングにおける専門的なアーキテクチャ設計であり、計算コストを比例して増加させることなく、モデルを大規模にスケールさせることができます。すべての入力に対してすべてのパラメータがアクティブになる標準的な密結合の neural network (NN) と異なり、MoE モデルは条件付き計算と呼ばれる手法を採用しています。このアプローチでは、入力データの具体的な特性に基づいて、「エキスパート」と呼ばれるネットワークコンポーネントの小さなサブセットのみを動的にアクティブ化します。これにより、MoE アーキテクチャは、はるかに小規模なシステムの inference latency と運用速度を維持しながら、数兆ものパラメータを持つ強力な foundation models の作成を可能にします。

MoEの主要なメカニズム#

Mixture of Expertsモデルの効率性は、標準的な密結合層を疎結合なMoE層に置き換えることから生まれます。この層は通常、情報を効率的に処理するために連携する2つの主要な要素で構成されています。

• エキスパート： これらは独立したサブネットワークであり、多くの場合、単純なフィードフォワードニューラルネットワーク（FFN）です。各エキスパートは、データの異なる側面の処理を専門としています。natural language processing (NLP) の文脈では、あるエキスパートは文法の処理に熟練し、別のエキスパートは事実の検索やコードの構文に焦点を当てることがあります。
• ゲーティングネットワーク（ルーター）： ルーターは、データの交通整理役として機能します。画像パッチやテキストトークンなどの入力がレイヤーに入ると、ルーターは softmax function を使用して確率スコアを計算します。そして、最もスコアの高い「Top-K」のエキスパート（通常は1つまたは2つ）にのみ、その入力を振り向けます。これにより、モデルは最も関連性の高いパラメータにのみエネルギーを費やすことが保証されます。

モデルアンサンブルとの違い#

どちらの概念も複数のサブモデルの使用を伴いますが、Mixture of Experts を model ensemble から区別することが重要です。従来のアンサンブルでは、グループ内のすべてのモデルが同じ入力を処理し、accuracy を最大化するためにその結果が平均化されるか、投票にかけられます。このアプローチでは、モデルの数に比例して計算コストが増加します。

これに対して、MoE は単一の統一されたモデルであり、異なる入力は異なるパスを通過します。スパース MoE は、任意の推論ステップで全体のごく一部のパラメータのみを実行することにより、scalability と効率性を目指しています。これにより、密なアンサンブルに伴う法外なコストをかけずに、膨大な量の training data でのトレーニングが可能になります。

実社会での応用#

MoEアーキテクチャは、現代の高性能AIの礎となっており、特にマルチタスク機能と幅広い知識保持が求められるシナリオにおいて重要です。

1. 多言語言語モデル： Mistral AI's Mixtral 8x7B のような著名なモデルは、MoE を活用して多様な言語タスクに優れています。トークンを専門のエキスパートにルーティングすることで、これらのシステムは単一のモデル構造内で翻訳、要約、およびコーディングタスクを処理でき、同等のアクティブパラメータ数を持つ密なモデルを上回る性能を発揮します。

2. スケーラブルなコンピュータービジョン： computer vision (CV) の領域では、研究者は MoE を適用して大規模なビジョンバックボーンを構築しています。Vision MoE (V-MoE) アーキテクチャは、エキスパートが明確な視覚的特徴の認識を専門にすることができ、ImageNet などのベンチマークでパフォーマンスを効果的にスケーリングできることを示しています。YOLO26 のような高度に最適化された密なモデルは、予測可能なメモリフットプリントによりリアルタイムエッジ検出の標準であり続けていますが、MoE の研究はサーバー側の視覚的理解の限界を押し広げ続けています。

ルーティングロジックの例#

ゲーティングネットワークがどのようにエキスパートを選択するかを理解するために、この簡略化された PyTorch の例を考えてみます。これは、特定の入力に対して最も関連性の高いエキスパートを選択するルーティングメカニズムを示しています。

import torch
import torch.nn as nn

# A simple router deciding between 4 experts for input dimension of 10
num_experts = 4
input_dim = 10
router = nn.Linear(input_dim, num_experts)

# Batch of 2 inputs
input_data = torch.randn(2, input_dim)

# Calculate scores and select the top-1 expert for each input
logits = router(input_data)
probs = torch.softmax(logits, dim=-1)
weights, indices = torch.topk(probs, k=1, dim=-1)

print(f"Selected Expert Indices: {indices.flatten().tolist()}")

トレーニングとデプロイにおける課題#

その利点にもかかわらず、MoE モデルは training process に独自の課題をもたらします。主な問題は**ロードバランシング（負荷分散）**です。ルーター少数の「人気のある」エキスパートを優遇し、他のエキスパートを無視する可能性があり、キャパシティの無駄につながります。これを軽減するために、研究者はすべてのエキスパートが均等に使用されるよう促す補助的な loss functions を使用します。

さらに、これらの大規模モデルのデプロイには、洗練されたハードウェアのセットアップが必要です。総パラメータ数が多いため（アクティブパラメータが少ない場合でも）、モデルには多くの場合大量の VRAM が必要となり、複数の GPUs にわたる distributed training が不可欠になります。Microsoft DeepSpeed のようなフレームワークは、これらのシステムを効率的にトレーニングするために必要な並列処理の管理に役立ちます。このような複雑なアーキテクチャのデータセットとトレーニングワークフローを管理するために、Ultralytics Platform のようなツールは、ロギング、視覚化、およびデプロイのための不可欠なインフラストラクチャを提供します。