AI Gateway
Aprende o que é um AI gateway, como ele encaminha modelos, controla custos, protege solicitações e monitora inferências para implantações confiáveis de IA e Ultralytics YOLO.
Um gateway de IA é uma camada de controle colocada entre aplicativos e um ou mais serviços de inteligência artificial. Como um API gateway, ele recebe solicitações e as encaminha para backends, mas adiciona controles específicos de IA para seleção de modelos, uso de tokens ou computação, segurança, privacidade, custo e desempenho. Ele pode fornecer um ponto de extremidade estável para modelos em nuvem, sistemas auto-hospedados e Ultralytics YOLO model serving, tornando os artificial intelligence systems de produção mais fáceis de governar à medida que seus modelos e fornecedores mudam. (learn.microsoft.com)
Como funciona um AI Gateway#
O gateway avalia cada solicitação recebida antes de enviá-la para um inference engine. Dependendo das políticas configuradas, ele pode:
- Autenticar e proteger solicitações: Aplicar controles de acesso, cotas, validação de entrada e defesas baseadas no OWASP Top 10 for LLM Applications, juntamente com práticas mais amplas de data security.
- Rotear o tráfego de forma inteligente: Selecionar um modelo ou ponto de extremidade com base em latência, disponibilidade, custo, região, tarefa ou carga de hardware. A Kubernetes Gateway API Inference Extension padroniza o roteamento consciente de modelos para modelos generativos auto-hospedados.
- Melhorar a confiabilidade: Usar novas tentativas, balanceamento de carga e Vercel AI Gateway model fallbacks quando um provedor ou modelo ficar indisponível.
- Controlar o consumo: Aplicar orçamentos de solicitações, tokens ou computação por meio de políticas como o Envoy Gateway rate limiting.
- Registrar telemetria: Capturar latência, erros, escolhas de modelo e uso por meio de sistemas de observability usando padrões como OpenTelemetry GenAI attributes. (gateway.envoyproxy.io)
Aplicações no Mundo Real#
- Inspeção de Visão de Varejo: As câmeras enviam imagens de produtos por meio de um gateway para um YOLO26 object detection model. O gateway autentica cada loja, limita o volume de solicitações, roteia o tráfego para a implantação mais próxima e envia falhas para um ponto de extremidade de backup, apoiando a real-time inference confiável.
- Assistente de Cliente Multi-Modelo: Um aplicativo usa a Vercel AI Gateway unified API ou o Cloudflare AI Gateway para direcionar perguntas simples para um modelo de menor custo e solicitações complexas para um mais capaz. Os logs apoiam análise de custos, depuração e model monitoring.
- Acesso de IA Corporativa: As organizações podem usar as Azure API Management AI gateway capabilities para governar modelos, ferramentas e Model Context Protocol services remotos por meio de autenticação centralizada, cotas, registro em log e políticas de segurança de conteúdo. (learn.microsoft.com)
Exemplo de Visão Computacional#
O código de inferência permanece focado na predição enquanto o gateway lida com acesso, roteamento, limites e telemetria:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})Este manipulador pode ser executado atrás de um Ultralytics Platform deployment endpoint, onde o deployment monitoring rastreia solicitações, latência, erros, logs e verificações de integridade. (learn.microsoft.com)
AI Gateway vs. Termos relacionados#
Um gateway de IA gerencia o tráfego antes e depois da execução do modelo, enquanto o model deployment coloca um modelo em produção e o atendimento de modelos executa previsões. Um gateway de inferência é mais especializado, otimizando o roteamento entre réplicas de modelos ou aceleradores. Enquanto isso, a AI agent orchestration coordena decisões em várias etapas e ferramentas, em vez de controlar o acesso à rede.
As melhores práticas atuais incluem minimizar o conteúdo sensível registrado, aplicar controles de data privacy, testar caminhos de fallback, rastrear a qualidade e o custo por modelo e seguir o NIST Generative AI Risk Management Profile. Pesquisas recentes sobre LLM control planes e adversarial risks in model routing também destacam a importância de políticas auditáveis e decisões de roteamento seguras. (nist.gov)
