Model Routing

モデルルーティングとは、受信したリクエストごとに、デプロイ済みの複数のAIモデルのうち、どれが処理するかを選択する方法です。ルーターはリクエストを調べ、設計によっては低コストモデルの最初の回答も確認してから、品質目標を満たす候補のうち、コストまたは推論レイテンシが最小のモデルへ転送します。簡単なリクエストは小型で高速なモデルに割り当て、より大きなモデルが必要な入力だけをそちらへ送ります。モデルの価格差は大きいため、コスト削減効果も大きくなります。FrugalGPTでは、スタンフォード大学のLingjiao Chen、Matei Zaharia、James Zouが、人気のある大規模言語モデル (LLM)のAPI利用料金に約2桁の差があることを示しました。また、学習済みのカスケードにより、GPT-4と同等の精度を最大98％低いコストで実現しました。

ルーティング戦略#

ルーターは、判断時に利用できる情報によって異なります。

• ルールベースのルーティング：タスク、入力言語、ファイル形式、顧客ティアなど、明示的なリクエスト項目によってモデルを選択します。ルールは予測可能で監査しやすい一方、個々の入力の難易度は判断できません。
• 学習ベースのルーティング：大規模モデルを実行する前に、小規模な分類器が、性能の低いモデルの回答で十分かどうかを予測します。LMSYSとUC BerkeleyのIsaac Ongらは2024年、Chatbot Arenaの人間の選好データを使ってRouteLLMのルーターを学習させました。一部の設定では、回答品質を落とさずにコストを半分以上削減しました。
• カスケード：最も低コストのモデルが最初に回答し、その回答の信頼度またはスコアリングモデルの判定がしきい値を下回った場合、リクエストを上位モデルへ引き継ぎます。カスケードでは難しい入力に対して2回目の呼び出しが発生しますが、最初の回答を得たうえで判断できます。

ルーティングは製品にも導入されています。OpenAIが2025年8月にChatGPTでGPT-5を公開した際、リアルタイムルーターが会話の種類、複雑さ、ツールの必要性、「これについてよく考えて」などの明示的な意図に基づき、各メッセージを高速モデルと、より深く考える推論モデルのどちらに送るかを選択しました。クラウドプラットフォームもマネージド型ルーターを提供しています。たとえばAmazon Bedrockのインテリジェントプロンプトルーティングは、各プロンプトの応答品質を予測し、同じファミリーに属する2つのモデルから選択します。

ビジョン向け信頼度カスケード#

同じ考え方は、物体検出のモデルデプロイにも適用できます。YOLO26には1つのAPIから利用できる5種類のサイズがあります。CPU上でONNXを使った場合、YOLO26nはCOCO mAP 40.9、画像あたり38.9 msで、YOLO26xはmAP 57.5、525.8 msです。そのため、カスケードではすべての画像にナノモデルを実行し、信頼度の低い検出結果がある画像だけをエクストララージモデルに送れます。

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

出力には、最終回答を生成したモデルが表示されます。しきい値を0.5より高くすると、YOLO26xに送られる画像が増えます。そのため、平均適合率と画像あたりの平均コストのトレードオフは、デプロイ環境から取得した保留画像を使って調整します。

関連用語#

モデルルーティングは、関連する次の概念と混同されることがあります。

• ロードバランシング：1つのモデルの同一レプリカ間でリクエストを分散し、負荷を共有します。どのレプリカも同じ回答を返します。
• Mixture of Experts：1つのモデル内のゲーティングネットワークが各トークンを少数のエキスパート層に送り、エキスパートとゲートを共同で学習させます。
• モデルアンサンブル：同じ入力に複数のモデルを実行して出力を統合します。リクエストあたりのコストは高くなります。
• AIゲートウェイ：アプリケーションとモデルプロバイダーの間に位置するインフラストラクチャ層です。多くの場合、認証、レート制限、ログ機能とともにルーターをホストします。
• AIエージェントのオーケストレーション：タスクの各ステップをどのエージェントまたはツールが処理するかを選択します。各ステップでは独自のモデルルーティングが行われることがあります。

ルーターは、最も高性能なモデルを常に呼び出すベースラインと比較し、代表的なトラフィックを使って評価します。RouteLLMでは、性能差の回復率を測定します。これは、強いモデルへの呼び出し比率ごとに、弱いモデルと強いモデルの品質差のうち、ルーターが維持できる割合を示します。本番環境では、モデルモニタリングにより、各ルートのエスカレーション率、レイテンシ、リクエストあたりのコストを追跡します。受信トラフィックの変化によって、これらすべてが変動するためです。