AI Gateway
Apprends ce qu'est une passerelle IA, comment elle achemine les modèles, contrôle les coûts, protège les requêtes et surveille l'inférence pour des déploiements fiables d'IA et d'Ultralytics YOLO.
Une passerelle IA est une couche de contrôle située entre les applications et un ou plusieurs services d'intelligence artificielle. À l'instar d'une passerelle API, elle reçoit des requêtes et les transmet aux backends, mais elle y ajoute des contrôles spécifiques à l'IA concernant la sélection des modèles, l'utilisation des jetons ou de la puissance de calcul, la sécurité, la confidentialité, les coûts et les performances. Elle peut fournir un point de terminaison unique et stable pour les modèles cloud, les systèmes auto-hébergés et le service de modèles Ultralytics YOLO, facilitant ainsi la gouvernance des systèmes d'intelligence artificielle en production à mesure que leurs modèles et leurs fournisseurs évoluent. (learn.microsoft.com)
Link to this sectionComment fonctionne une passerelle IA#
La passerelle évalue chaque requête entrante avant de l'envoyer à un moteur d'inférence. Selon les politiques configurées, elle peut :
- Authentifier et protéger les requêtes : Appliquer des contrôles d'accès, des quotas, une validation des entrées et des défenses basés sur le OWASP Top 10 pour les applications LLM, parallèlement à des pratiques plus larges de sécurité des données.
- Router le trafic intelligemment : Sélectionner un modèle ou un point de terminaison en fonction de la latence, de la disponibilité, du coût, de la région, de la tâche ou de la charge matérielle. L'extension Kubernetes Gateway API Inference Extension normalise le routage conscient des modèles pour les modèles génératifs auto-hébergés.
- Améliorer la fiabilité : Utiliser des tentatives de reconnexion, l'équilibrage de charge et les replis vers des modèles Vercel AI Gateway lorsqu'un fournisseur ou un modèle devient indisponible.
- Contrôler la consommation : Imposer des budgets de requêtes, de jetons ou de calcul grâce à des politiques telles que la limitation du débit d'Envoy Gateway.
- Enregistrer la télémétrie : Capturer la latence, les erreurs, les choix de modèles et l'utilisation via des systèmes d'observabilité utilisant des normes telles que les attributs OpenTelemetry GenAI. (gateway.envoyproxy.io)
Link to this sectionApplications concrètes#
- Inspection visuelle dans le commerce de détail : Les caméras envoient des images de produits via une passerelle vers un modèle de détection d'objets YOLO26. La passerelle authentifie chaque magasin, limite le volume de requêtes, achemine le trafic vers le déploiement le plus proche et envoie les échecs vers un point de terminaison de secours, garantissant ainsi une inférence en temps réel fiable.
- Assistant client multi-modèle : Une application utilise l'API unifiée Vercel AI Gateway ou Cloudflare AI Gateway pour router les questions simples vers un modèle moins coûteux et les requêtes complexes vers un modèle plus performant. Les journaux facilitent l'analyse des coûts, le débogage et le suivi des modèles.
- Accès IA pour les entreprises : Les organisations peuvent utiliser les capacités de passerelle IA d'Azure API Management pour gouverner les modèles, les outils et les services du protocole de contexte de modèle (MCP) distants grâce à une authentification, des quotas, une journalisation et des politiques de sécurité de contenu centralisés. (learn.microsoft.com)
Link to this sectionExemple de vision par ordinateur#
Le code d'inférence reste concentré sur la prédiction tandis que la passerelle gère l'accès, le routage, les limites et la télémétrie :
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})Ce gestionnaire pourrait fonctionner derrière un point de terminaison de déploiement de la plateforme Ultralytics, où le suivi du déploiement enregistre les requêtes, la latence, les erreurs, les journaux et les vérifications de santé. (learn.microsoft.com)
Link to this sectionPasserelle IA vs termes associés#
Une passerelle IA gère le trafic avant et après l'exécution du modèle, tandis que le déploiement de modèle place un modèle en production et que le service de modèles exécute les prédictions. Une passerelle d'inférence est plus spécialisée, optimisant le routage entre les répliques de modèles ou les accélérateurs. Parallèlement, l'orchestration d'agents IA coordonne les décisions et les outils en plusieurs étapes plutôt que de contrôler l'accès au réseau.
Les meilleures pratiques actuelles incluent la minimisation du contenu sensible journalisé, l'application de contrôles de confidentialité des données, le test des chemins de repli, le suivi de la qualité et du coût par modèle, et le respect du profil NIST de gestion des risques liés à l'IA générative. Des recherches récentes sur les plans de contrôle LLM et les risques antagonistes dans le routage des modèles soulignent également l'importance de politiques auditables et de décisions de routage sécurisées. (nist.gov)
