AI Gateway
AIゲートウェイとは何か、AIゲートウェイがどのようにモデルのルーティング、コスト管理、リクエスト保護、推論監視を行い、信頼性の高いAIおよびUltralytics YOLOのデプロイメントを実現するかを学びます。
AI gatewayは、アプリケーションと1つ以上の人工知能サービスの間に配置されるコントロールレイヤーです。API gatewayのようにリクエストを受け取ってバックエンドに転送しますが、モデル選択、トークンまたはコンピュートの使用量、安全性、プライバシー、コスト、パフォーマンスに関するAI固有の制御を追加します。クラウドモデル、セルフホストシステム、およびUltralytics YOLO model servingに対して1つの安定したエンドポイントを提供するため、モデルやプロバイダが変更されても本番用のartificial intelligence systemsの管理が容易になります。(learn.microsoft.com)
AIゲートウェイの仕組み#
gatewayは、入ってくる各リクエストをinference engineに送信する前に評価します。設定されたポリシーに応じて、以下の処理を行う場合があります。
- リクエストの認証と保護: アクセス制御、クォータ、入力検証、およびOWASP Top 10 for LLM Applicationsに基づく防御を、より広範なdata securityのプラクティスと併せて適用します。
- トラフィックのインテリジェントなルーティング: レイテンシ、可用性、コスト、リージョン、タスク、またはハードウェア負荷に基づいてモデルやエンドポイントを選択します。Kubernetes Gateway API Inference Extensionは、セルフホスト型の生成モデル向けにモデルアウェアなルーティングを標準化します。
- 信頼性の向上: プロバイダやモデルが利用できなくなった場合に、リトライ、ロードバランス、およびVercel AI Gateway model fallbacksを使用します。
- 消費の制御: Envoy Gateway rate limitingなどのポリシーを通じて、リクエスト、トークン、またはコンピュートの予算を強制します。
- テレメトリの記録: OpenTelemetry GenAI attributesなどの標準を使用したobservabilityシステムにより、レイテンシ、エラー、モデルの選択、および使用量をキャプチャします。(gateway.envoyproxy.io)
実社会での応用#
- リテールビジョン検査: カメラがgatewayを介して製品画像をYOLO26 object detection modelに送信します。gatewayは各店舗の認証を行い、リクエスト量を制限し、トラフィックを最寄りのデプロイメントにルーティングし、失敗したものをバックアップエンドポイントに送信することで、信頼性の高いreal-time inferenceをサポートします。
- マルチモデルカスタマーアシスタント: アプリケーションはVercel AI Gateway unified APIまたはCloudflare AI Gatewayを使用して、簡単な質問を低コストのモデルにルーティングし、複雑なリクエストをより性能の高いモデルにルーティングします。ログはコスト分析、デバッグ、およびmodel monitoringをサポートします。
- エンタープライズAIアクセス: 組織はAzure API Management AI gateway capabilitiesを使用して、一元化された認証、クォータ、ロギング、およびコンテンツ安全性ポリシーを通じて、モデル、ツール、およびリモートのModel Context Protocol servicesを管理できます。(learn.microsoft.com)
コンピュータービジョンの例#
推論コードは予測に集中し、ゲートウェイがアクセス、ルーティング、制限、テレメトリを処理します。
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})このハンドラーはUltralytics Platform deployment endpointの背後で実行でき、そこではdeployment monitoringがリクエスト、レイテンシ、エラー、ログ、およびヘルスチェックを追跡します。(learn.microsoft.com)
AIゲートウェイと関連用語の比較#
AI gatewayはモデル実行の前後にトラフィックを管理し、一方model deploymentはモデルを本番環境に配置し、モデルサービングは予測を実行します。推論gatewayはより特化しており、モデルレプリカやアクセラレータ間のルーティングを最適化します。一方、AI agent orchestrationは、ネットワークアクセスの制御ではなく、多段階の決定とツールを調整します。
現在のベストプラクティスには、ログに記録される機密コンテンツの最小化、data privacy制御の適用、フォールバックパスのテスト、モデルごとの品質とコストの追跡、およびNIST Generative AI Risk Management Profileの遵守が含まれます。LLM control planesやadversarial risks in model routingに関する最近の研究でも、監査可能なポリシーと安全なルーティング決定の重要性が強調されています。(nist.gov)
