AI Gateway

AIゲートウェイは、アプリケーションと1つ以上の人工知能サービスとの間に配置される制御レイヤーです。APIゲートウェイと同様に、リクエストを受信してバックエンドに転送しますが、モデル選択、トークンまたは計算リソースの使用量、安全性、プライバシー、コスト、パフォーマンスといったAI特有の制御を追加します。クラウドモデル、セルフホストシステム、およびUltralytics YOLOモデルサービングに対して単一の安定したエンドポイントを提供できるため、モデルやプロバイダーが変更されても、実稼働中の人工知能システムの管理が容易になります。(learn.microsoft.com)

Link to this sectionAIゲートウェイの仕組み#

ゲートウェイは、受信した各リクエストを推論エンジンに送信する前に評価します。構成されたポリシーに応じて、以下のような処理を行います。

• リクエストの認証と保護: OWASP Top 10 for LLM Applicationsや、より広範なデータセキュリティの実践に基づき、アクセス制御、クォータ、入力検証、および防御を適用します。
• トラフィックのインテリジェントなルーティング: レイテンシ、可用性、コスト、リージョン、タスク、またはハードウェア負荷に基づいてモデルやエンドポイントを選択します。Kubernetes Gateway API Inference Extensionは、セルフホスト型の生成AIモデルにおけるモデル認識ルーティングを標準化します。
• 信頼性の向上: プロバイダーやモデルが利用不可になった場合に、リトライ、ロードバランシング、およびVercel AI Gatewayモデルフォールバックを使用します。
• 消費の制御: Envoy Gatewayレートリミットなどのポリシーを通じて、リクエスト数、トークン数、または計算予算を強制します。
• Record telemetry: Capture latency, errors, model choices, and usage through observability systems using standards such as OpenTelemetry GenAI attributes. (gateway.envoyproxy.io)

Link to this section実社会での応用#

• 小売向けビジョン検査: カメラが製品画像をゲートウェイ経由でYOLO26オブジェクト検出モデルに送信します。ゲートウェイは各店舗を認証し、リクエスト量を制限し、トラフィックを最寄りのデプロイ先にルーティングし、失敗時にはバックアップエンドポイントに送信することで、信頼性の高いリアルタイム推論をサポートします。
• マルチモデル顧客アシスタント: アプリケーションは、Vercel AI Gateway統合APIまたはCloudflare AI Gatewayを使用して、単純な質問を低コストモデルへ、複雑なリクエストをより高機能なモデルへとルーティングします。ログはコスト分析、デバッグ、およびモデルモニタリングをサポートします。
• エンタープライズAIアクセス: 組織はAzure API Management AIゲートウェイ機能を使用して、一元化された認証、クォータ、ログ記録、コンテンツ安全ポリシーを通じて、モデル、ツール、およびリモートのModel Context Protocolサービスを管理できます。(learn.microsoft.com)

Link to this sectionコンピュータービジョンの例#

推論コードは予測に集中し、ゲートウェイがアクセス、ルーティング、制限、テレメトリを処理します。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})

このハンドラーはUltralyticsプラットフォームデプロイメントエンドポイントの背後で実行でき、デプロイメントモニタリングによってリクエスト、レイテンシ、エラー、ログ、ヘルスチェックが追跡されます。(learn.microsoft.com)

Link to this sectionAIゲートウェイと関連用語の比較#

AIゲートウェイはモデル実行の前後のトラフィックを管理しますが、モデルデプロイはモデルを本番環境へ配置し、モデルサービングは予測を実行します。推論ゲートウェイはより専門的であり、モデルレプリカ間やアクセラレーター間でのルーティングを最適化します。一方、AIエージェントオーケストレーションは、ネットワークアクセスを制御するのではなく、多段階の意思決定やツールを調整します。

現在のベストプラクティスには、ログに記録される機密コンテンツの最小化、データプライバシー管理の適用、フォールバックパスのテスト、モデルごとの品質とコストの追跡、およびNIST生成AIリスク管理プロファイルへの準拠が含まれます。LLMコントロールプレーンやモデルルーティングにおける敵対的リスクに関する最新の研究も、監査可能なポリシーと安全なルーティング決定の重要性を強調しています。(nist.gov)