AI Gateway

Una pasarela de IA es un proxy que se sitúa entre las aplicaciones y los modelos de IA a los que llaman. Las aplicaciones envían todas las solicitudes a un único endpoint, y la pasarela gestiona las credenciales de los proveedores, elige el modelo, vuelve a intentar las solicitudes fallidas, aplica límites de uso, ofrece respuestas almacenadas en caché, filtra contenido y registra cada llamada. Es la forma específica de IA de una pasarela de API: las solicitudes a modelos de lenguaje grandes (LLM) tienen precios y límites basados en tokens, las respuestas suelen transmitirse en flujo, los formatos de carga útil varían según el proveedor y es necesario inspeccionar los prompts y las respuestas para detectar inyecciones de prompts y datos personales filtrados. Las pasarelas alojadas, como Cloudflare AI Gateway, Vercel AI Gateway y OpenRouter, y los proxies autohospedados, como LiteLLM, Kong AI Gateway y Envoy AI Gateway, suelen ofrecer una API compatible con OpenAI, por lo que el código cliente existente solo tiene que cambiar la URL base.

Funciones principales#

La mayoría de las pasarelas combinan los mismos componentes básicos:

• API y claves unificadas: Un único formato de solicitud cubre muchos proveedores. La pasarela almacena las credenciales de los proveedores y emite sus propias claves para cada equipo o aplicación, de modo que se puede revocar el acceso o medir el uso sin modificar las cuentas de los proveedores.
• Enrutamiento de modelos y alternativas: Cada solicitud se envía a un modelo elegido según reglas, costes o un enrutador aprendido; si una llamada falla o alcanza el límite de solicitudes, se vuelve a intentar con un modelo o proveedor alternativo.
• Límites de tokens: Los límites contabilizan los tokens por minuto y el gasto por periodo. La política llm-token-limit de Azure API Management devuelve 429 cuando se supera el límite de tokens por minuto y 403 cuando se agota la cuota. Las solicitudes simultáneas pueden exceder brevemente los límites, porque el coste en tokens de una llamada solo se conoce cuando termina.
• Almacenamiento en caché semántico: Las cachés basadas en coincidencias exactas y en el significado devuelven respuestas almacenadas para prompts repetidos o equivalentes, sin llamar a un modelo.
• Barreras de seguridad: Se analizan los prompts y las respuestas para detectar instrucciones inyectadas, datos personales e incumplimientos de políticas antes de permitir que pasen.
• Observabilidad: Cada llamada se registra junto con su modelo, el número de tokens, la latencia y el coste. Las convenciones semánticas GenAI de OpenTelemetry estandarizan nombres de atributos como gen_ai.usage.input_tokens, para que estos registros funcionen en distintas herramientas de monitorización.

Una solicitud pasa estas comprobaciones en este orden:

Pasarelas para modelos autohospedados#

Los equipos que ejecutan sus propios modelos necesitan una pasarela que entienda los servidores de modelos. La extensión Inference de Kubernetes Gateway API convierte pasarelas como Envoy Gateway y GKE Gateway en pasarelas de inferencia: un selector de endpoints lee métricas de cada réplica del servidor de modelos, como el estado de la caché de prefijos y qué adaptadores LoRA están cargados, y envía cada solicitud a la réplica que puede atenderla más rápido. Así se mantiene elevado el aprovechamiento de la caché KV en servidores como vLLM, algo que no puede hacer un equilibrador de carga round-robin porque ignora lo que cada réplica tiene en caché.

Los mismos controles de pasarela se aplican a las API de visión artificial. Ultralytics Platform los aplica a su API de modelos compartida: las solicitudes se autentican con cualquier clave de API activa del espacio de trabajo, cada clave tiene un límite de 20 solicitudes por minuto y las llamadas limitadas reciben una respuesta 429 con un encabezado Retry-After. Las solicitudes enviadas directamente a un endpoint dedicado no pasan por ese limitador.

Pasarela de IA y términos relacionados#

Una pasarela de API gestiona la autenticación, los límites de solicitudes y el enrutamiento de cualquier servicio web, y contabiliza las solicitudes. Una pasarela de IA añade la contabilización de tokens, la traducción entre proveedores, la compatibilidad con transmisión en flujo y la inspección de contenido. El servicio de modelos ejecuta el modelo y devuelve predicciones; la pasarela se sitúa delante de uno o varios endpoints de servicio. La orquestación de agentes de IA planifica tareas de varios pasos con herramientas y modelos; las llamadas individuales del agente a los modelos pueden pasar por una pasarela. El Protocolo de contexto del modelo conecta agentes con herramientas, y algunas pasarelas, como Azure API Management, gestionan servidores MCP con las mismas claves, límites y registros.

Las pasarelas añaden un salto de red a cada llamada y se convierten en una dependencia compartida por todas las funciones de IA, así que las implementaciones de producción las ejecutan de forma redundante en distintas zonas. Además, las pasarelas alojadas ven todos los prompts y las respuestas, lo que las incluye en las revisiones de privacidad de datos; pasarelas como Cloudflare AI Gateway y LiteLLM permiten desactivar el almacenamiento del contenido de prompts y respuestas.