AI Gateway
AIゲートウェイは、アプリケーションとAIモデルの間に置かれるプロキシで、プロバイダーのAPIを統一し、ルーティング、フォールバック、トークン予算、キャッシュ、ログ機能を追加します。
AIゲートウェイは、アプリケーションとアプリケーションが呼び出すAIモデルの間に置かれるプロキシです。アプリケーションはすべてのリクエストを1つのエンドポイントに送信し、ゲートウェイがプロバイダーの認証情報を管理し、モデルを選択し、失敗時に再試行し、使用量の上限を適用し、キャッシュ済みの回答を返し、コンテンツを検査して、各呼び出しを記録します。これはAPIゲートウェイをAI向けに特化したものです。大規模言語モデル（LLM）のリクエストはtokens単位で料金と制限が設定され、応答はストリーミングされることが多く、ペイロード形式はプロバイダーごとに異なります。また、プロンプトと回答自体を検査し、プロンプトインジェクションや個人データの漏えいを検出する必要があります。Cloudflare AI Gateway、Vercel AI Gateway、OpenRouterなどのホスト型ゲートウェイや、LiteLLM、Kong AI Gateway、Envoy AI Gatewayなどのセルフホスト型プロキシは、通常OpenAI互換APIを公開するため、既存のクライアントコードではベースURLを変更するだけで利用できます。
主な機能#
多くのゲートウェイは、同じ構成要素を組み合わせています:
- 統合APIとキー：1つのリクエスト形式で複数のプロバイダーに対応します。ゲートウェイはプロバイダーの認証情報を保存し、各チームやアプリケーションに独自のキーを発行するため、プロバイダーのアカウントに触れることなくアクセスを取り消したり、使用量を計測したりできます。
- モデルルーティングとフォールバック：各リクエストはルール、コスト、または学習済みルーターに基づいて選択されたモデルに送られ、失敗した呼び出しやレート制限された呼び出しは、バックアップモデルまたはプロバイダーに再試行されます。
- トークン予算：トークン数の上限は、1分あたりのトークン数と期間ごとの使用額を制限します。Azure API Managementの
llm-token-limitポリシーは、1分あたりのトークン数の上限を超えると429を、クォータを使い切ると403を返します。呼び出しのトークンコストが完了時まで分からないため、並行リクエストでは一時的に上限を超えることがあります。 - セマンティックキャッシュ：完全一致および意味ベースのキャッシュは、繰り返しや同等のプロンプトに対して、モデルを呼び出さずに保存済みの回答を返します。
- ガードレール：プロンプトと応答を検査し、インジェクションされた指示、個人データ、ポリシー違反がないか確認してから通過させます。
- 可観測性：すべての呼び出しを、モデル、トークン数、レイテンシ、コストとともに記録します。OpenTelemetry GenAIセマンティック規約は、
gen_ai.usage.input_tokensなどの属性名を標準化するため、これらのログをさまざまな監視ツールで利用できます。
リクエストは次の順序でこれらのチェックを通過します:
セルフホスト型モデル向けゲートウェイ#
独自のモデルを運用するチームには、モデルサーバーを理解するゲートウェイが必要です。Kubernetes Gateway API Inference Extensionは、Envoy GatewayやGKE Gatewayなどのゲートウェイを推論ゲートウェイにします。エンドポイントピッカーは、prefix cacheの状態や、どのLoRAアダプターがロードされているかなど、各モデルサーバーレプリカのメトリクスを読み取り、最も速く処理できるレプリカに各リクエストを送ります。これにより、vLLMなどのサーバーでKV cacheの再利用率を高く保てます。ラウンドロビン方式のロードバランサーは各レプリカのキャッシュ状況を考慮しないため、同じことはできません。
同じゲートウェイ制御はコンピュータービジョンのAPIにも適用されます。Ultralytics Platformは、共有モデルAPIの前段にこれらの制御を配置します。リクエストは有効なワークスペースのAPIキーで認証され、各キーには1分あたり20リクエストの上限が設定されます。レート制限された呼び出しには、Retry-Afterヘッダーを含む429応答が返されます。専用エンドポイントに直接送信されたリクエストは、この制限を回避します。
AIゲートウェイと関連用語#
APIゲートウェイは、あらゆるWebサービスの認証、レート制限、ルーティングを処理し、リクエスト数をカウントします。AIゲートウェイは、トークンの計測、プロバイダー間の変換、ストリーミング対応、コンテンツ検査を追加します。モデルサービングはモデルを実行して予測を返し、ゲートウェイは1つ以上のサービングエンドポイントの前段に置かれます。AIエージェントのオーケストレーションは複数のツールやモデルを使う作業を計画し、エージェントによる個々のモデル呼び出しはゲートウェイを経由できます。Model Context Protocolはエージェントをツールに接続します。また、Azure API Managementを含む一部のゲートウェイは、同じキー、制限、ログを使ってMCPサーバーを管理します。
ゲートウェイはすべての呼び出しにネットワークホップを1つ追加し、すべてのAI機能が依存するコンポーネントになるため、本番環境では複数ゾーンに冗長化して配置します。ホスト型ゲートウェイはすべてのプロンプトと応答を確認できるため、データプライバシーのレビュー対象に含まれます。Cloudflare AI GatewayやLiteLLMなどのゲートウェイでは、プロンプトと応答の本文を保存しないよう設定できます。
