AI Gateway

Une passerelle d'IA est un proxy placé entre les applications et les modèles d'IA qu'elles appellent. Les applications envoient chaque requête à un point de terminaison unique, et la passerelle gère les identifiants des fournisseurs, choisit le modèle, réessaie les appels en échec, applique les limites d'utilisation, sert les réponses mises en cache, filtre le contenu et consigne chaque appel. C'est la forme spécialisée pour l'IA d'une passerelle API : les requêtes à un grand modèle de langage (LLM) sont tarifées et limitées en fonction des tokens, les réponses sont souvent transmises en continu, les formats de charge utile varient selon le fournisseur et les prompts ainsi que les réponses doivent être inspectés pour détecter les injections de prompt et les données personnelles divulguées. Les passerelles hébergées comme Cloudflare AI Gateway, Vercel AI Gateway et OpenRouter, ainsi que les proxys auto-hébergés comme LiteLLM, Kong AI Gateway et Envoy AI Gateway, exposent généralement une API compatible avec OpenAI ; le code client existant n'a donc besoin que d'une nouvelle URL de base.

Fonctions principales#

La plupart des passerelles combinent les mêmes composants de base :

• API et clés unifiées : Un format de requête unique couvre plusieurs fournisseurs. La passerelle stocke les identifiants des fournisseurs et attribue ses propres clés à chaque équipe ou application, ce qui permet de révoquer ou de mesurer l'accès sans toucher aux comptes des fournisseurs.
• Routage des modèles et solutions de repli : Chaque requête est dirigée vers un modèle choisi selon des règles, le coût ou un routeur appris ; en cas d'échec ou de limitation de débit, l'appel est réessayé avec un modèle ou un fournisseur de secours.
• Budgets de tokens : Les limites comptabilisent les tokens par minute et les dépenses sur une période donnée. La règle llm-token-limit d'Azure API Management renvoie le code 429 lorsque la limite de tokens par minute est dépassée, et le code 403 lorsque le quota est épuisé. Les requêtes simultanées peuvent brièvement dépasser la limite, car le coût en tokens d'un appel n'est connu qu'une fois celui-ci terminé.
• Mise en cache sémantique : Les caches à correspondance exacte et ceux fondés sur le sens renvoient les réponses stockées pour les prompts répétés ou équivalents, sans appeler de modèle.
• Garde-fous : Les prompts et les réponses sont analysés pour repérer les instructions injectées, les données personnelles et les violations des politiques avant d'être transmis.
• Observabilité : Chaque appel est consigné avec le modèle utilisé, le nombre de tokens, la latence et le coût. Les conventions sémantiques GenAI d'OpenTelemetry normalisent les noms d'attributs comme gen_ai.usage.input_tokens, afin que ces journaux soient compatibles avec différents outils de supervision.

Une requête passe ces contrôles dans l'ordre suivant :

Passerelles pour les modèles auto-hébergés#

Les équipes qui exécutent leurs propres modèles ont besoin d'une passerelle compatible avec les serveurs de modèles. L'extension Inference de l'API Gateway Kubernetes transforme des passerelles comme Envoy Gateway et GKE Gateway en passerelles d'inférence : un sélecteur de point de terminaison lit les métriques de chaque réplique de serveur de modèles, comme l'état du cache de préfixes et les adaptateurs LoRA chargés, puis dirige chaque requête vers la réplique capable de la traiter le plus rapidement. Cela favorise la réutilisation du cache KV sur des serveurs comme vLLM, ce qu'un répartiteur de charge en tourniquet ne peut pas faire puisqu'il ignore le contenu du cache de chaque réplique.

Les mêmes contrôles de passerelle s'appliquent aux API de vision par ordinateur. Ultralytics Platform les place devant son API de modèle partagée : les requêtes s'authentifient avec n'importe quelle clé API active de l'espace de travail, chaque clé est limitée à 20 requêtes par minute et les appels limités reçoivent une réponse 429 accompagnée d'un en-tête Retry-After. Les requêtes envoyées directement à un point de terminaison dédié contournent cette limite.

Passerelle d'IA et termes associés#

Une passerelle API gère l'authentification, les limites de débit et le routage pour n'importe quel service web, et comptabilise les requêtes. Une passerelle d'IA ajoute le comptage des tokens, la traduction entre fournisseurs, la prise en charge de la diffusion en continu et l'inspection du contenu. Le service de modèles exécute le modèle et renvoie des prédictions ; la passerelle se place devant un ou plusieurs points de terminaison de service. L'orchestration d'agents d'IA planifie des tâches en plusieurs étapes faisant appel à des outils et des modèles, et les appels individuels des agents peuvent passer par une passerelle. Le protocole de contexte de modèle relie les agents aux outils, et certaines passerelles, dont Azure API Management, régissent les serveurs MCP au moyen des mêmes clés, limites et journaux.

Les passerelles ajoutent un saut réseau à chaque appel et deviennent une dépendance commune à toutes les fonctionnalités d'IA ; les déploiements en production les exécutent donc de manière redondante dans plusieurs zones. Les passerelles hébergées voient également tous les prompts et les réponses, ce qui les inclut dans le périmètre des évaluations de confidentialité des données. Les passerelles comme Cloudflare AI Gateway et LiteLLM peuvent désactiver le stockage du corps des prompts et des réponses.