AI Gateway
Aprende qué es una pasarela de IA, cómo enruta modelos, controla costes, protege las solicitudes y monitoriza la inferencia para obtener despliegues fiables de IA y Ultralytics YOLO.
Un AI gateway es una capa de control situada entre las aplicaciones y uno o más servicios de inteligencia artificial. Al igual que un API gateway, recibe solicitudes y las reenvía a los backends, pero añade controles específicos de IA para la selección de modelos, el uso de tokens o cómputo, la seguridad, la privacidad, el coste y el rendimiento. Puede proporcionar un endpoint estable para modelos en la nube, sistemas autohospedados y Ultralytics YOLO model serving, haciendo que los artificial intelligence systems de producción sean más fáciles de gobernar a medida que cambian sus modelos y proveedores. (learn.microsoft.com)
Link to this sectionCómo funciona un AI Gateway#
El gateway evalúa cada solicitud entrante antes de enviarla a un inference engine. Dependiendo de las políticas configuradas, puede:
- Autenticar y proteger las solicitudes: Aplica controles de acceso, cuotas, validación de entradas y defensas basadas en el OWASP Top 10 for LLM Applications, junto con prácticas más amplias de data security.
- Enrutar el tráfico de forma inteligente: Selecciona un modelo o endpoint basándose en la latencia, disponibilidad, coste, región, tarea o carga de hardware. El Kubernetes Gateway API Inference Extension estandariza el enrutamiento consciente del modelo para modelos generativos autohospedados.
- Mejorar la fiabilidad: Utiliza reintentos, equilibrio de carga y Vercel AI Gateway model fallbacks cuando un proveedor o modelo no está disponible.
- Controlar el consumo: Aplica presupuestos de solicitudes, tokens o cómputo mediante políticas como Envoy Gateway rate limiting.
- Registrar telemetría: Captura latencia, errores, elecciones de modelos y uso a través de sistemas de observability utilizando estándares como OpenTelemetry GenAI attributes. (gateway.envoyproxy.io)
Link to this sectionAplicaciones en el mundo real#
- Inspección de visión minorista: Las cámaras envían imágenes de productos a través de un gateway a un YOLO26 object detection model. El gateway autentica cada tienda, limita el volumen de solicitudes, enruta el tráfico al despliegue más cercano y envía los fallos a un endpoint de respaldo, lo que permite una real-time inference fiable.
- Asistente de cliente multimodelo: Una aplicación utiliza la Vercel AI Gateway unified API o Cloudflare AI Gateway para enrutar preguntas sencillas a un modelo de menor coste y solicitudes complejas a uno más capaz. Los registros apoyan el análisis de costes, la depuración y el model monitoring.
- Acceso empresarial a la IA: Las organizaciones pueden usar las Azure API Management AI gateway capabilities para gobernar modelos, herramientas y servicios remotos de Model Context Protocol services a través de autenticación centralizada, cuotas, registros y políticas de seguridad de contenido. (learn.microsoft.com)
Link to this sectionEjemplo de visión por computador#
El código de inferencia sigue centrado en la predicción mientras el gateway maneja el acceso, el enrutamiento, los límites y la telemetría:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})Este manejador podría ejecutarse detrás de un Ultralytics Platform deployment endpoint, donde el deployment monitoring rastrea solicitudes, latencia, errores, registros y comprobaciones de estado. (learn.microsoft.com)
Link to this sectionAI Gateway frente a términos relacionados#
Un AI gateway gestiona el tráfico antes y después de la ejecución del modelo, mientras que el model deployment coloca un modelo en producción y el model serving ejecuta las predicciones. Un inference gateway es más especializado y optimiza el enrutamiento entre réplicas de modelos o aceleradores. Mientras tanto, el AI agent orchestration coordina decisiones y herramientas de varios pasos en lugar de controlar el acceso a la red.
Las mejores prácticas actuales incluyen minimizar el contenido sensible registrado, aplicar controles de data privacy, probar rutas de respaldo, realizar un seguimiento de la calidad y el coste por modelo, y seguir el NIST Generative AI Risk Management Profile. Investigaciones recientes sobre LLM control planes y adversarial risks in model routing también destacan la importancia de políticas auditables y decisiones de enrutamiento seguras. (nist.gov)
