AI Gateway

Um gateway de IA é um proxy entre as aplicações e os modelos de IA que estas utilizam. As aplicações enviam todos os pedidos para um único endpoint, e o gateway trata das credenciais dos fornecedores, escolhe o modelo, tenta novamente os pedidos que falham, impõe limites de utilização, disponibiliza respostas em cache, filtra conteúdo e regista cada chamada. É a forma específica de IA de um gateway de API: os pedidos de modelos de linguagem de grande dimensão (LLM) são tarifados e limitados por tokens, as respostas são muitas vezes transmitidas em fluxo, os formatos das cargas úteis variam entre fornecedores, e os próprios prompts e respostas precisam de ser analisados para detetar injeção de prompts e dados pessoais expostos. Gateways alojados, como Cloudflare AI Gateway, Vercel AI Gateway e OpenRouter, e proxies autoalojados, como LiteLLM, Kong AI Gateway e Envoy AI Gateway, costumam disponibilizar uma API compatível com OpenAI, pelo que o código cliente existente só precisa de alterar o URL base.

Funções principais#

A maioria dos gateways combina os mesmos componentes básicos:

• API e chaves unificadas: um único formato de pedido abrange vários fornecedores. O gateway armazena as credenciais dos fornecedores e emite as suas próprias chaves para cada equipa ou aplicação, permitindo revogar ou contabilizar o acesso sem alterar as contas dos fornecedores.
• Encaminhamento de modelos e alternativas: cada pedido é enviado para um modelo escolhido por regras, custo ou um encaminhador aprendido, e uma chamada que falha ou atinge o limite de taxa é repetida noutro modelo ou fornecedor.
• Orçamentos de tokens: os limites contabilizam os tokens por minuto e os gastos por período. A política llm-token-limit do Azure API Management devolve 429 quando é excedido um limite de tokens por minuto e 403 quando se esgota uma quota; pedidos simultâneos podem exceder temporariamente o limite porque o custo em tokens de uma chamada só é conhecido quando esta termina.
• Cache semântico: as caches de correspondência exata e de significado devolvem respostas armazenadas para prompts repetidos ou equivalentes, sem chamar um modelo.
• Proteções: os prompts e as respostas são analisados para detetar instruções injetadas, dados pessoais e violações de políticas antes de serem processados.
• Observabilidade: cada chamada é registada com o modelo, a contagem de tokens, a latência e o custo. As convenções semânticas GenAI do OpenTelemetry uniformizam nomes de atributos, como gen_ai.usage.input_tokens, para que estes registos funcionem em diferentes ferramentas de monitorização.

Um pedido passa por estas verificações, por esta ordem:

Gateways para modelos autoalojados#

As equipas que executam os seus próprios modelos precisam de um gateway que compreenda os servidores de modelos. A extensão de inferência da API Gateway do Kubernetes transforma gateways como Envoy Gateway e GKE Gateway em gateways de inferência: um seletor de endpoints lê métricas de cada réplica do servidor de modelos, como o estado da cache de prefixos e os adaptadores LoRA carregados, e envia cada pedido para a réplica que o consegue servir mais depressa. Isto mantém elevada a reutilização da cache KV em servidores como o vLLM, algo que um balanceador de carga round-robin não consegue fazer porque ignora o que cada réplica tem em cache.

Os mesmos controlos de gateway aplicam-se às APIs de visão computacional. A Ultralytics Platform aplica-os à frente da sua API de modelos partilhada: os pedidos autenticam-se com qualquer chave API ativa do espaço de trabalho, cada chave está limitada a 20 pedidos por minuto e as chamadas limitadas recebem uma resposta 429 com um cabeçalho Retry-After. Os pedidos enviados diretamente para um endpoint dedicado ignoram esse limitador.

Gateway de IA vs. termos relacionados#

Um gateway de API trata da autenticação, dos limites de taxa e do encaminhamento de qualquer serviço Web, e contabiliza os pedidos. Um gateway de IA acrescenta a contabilização de tokens, a tradução entre fornecedores, o suporte para transmissão em fluxo e a inspeção de conteúdo. A disponibilização de modelos executa o modelo e devolve previsões, e o gateway fica à frente de um ou mais endpoints de disponibilização. A orquestração de agentes de IA planeia tarefas com várias etapas através de ferramentas e modelos, e as chamadas individuais do modelo pelo agente podem passar por um gateway. O Protocolo de Contexto de Modelo liga agentes a ferramentas, e alguns gateways, incluindo o Azure API Management, controlam servidores MCP com as mesmas chaves, limites e registos.

Os gateways acrescentam um salto de rede a cada chamada e tornam-se uma dependência partilhada por todas as funcionalidades de IA, pelo que as implementações de produção os executam de forma redundante em várias zonas. Os gateways alojados também veem todos os prompts e respostas, o que os inclui no âmbito das revisões de privacidade de dados; gateways como Cloudflare AI Gateway e LiteLLM permitem desativar o armazenamento do conteúdo dos prompts e das respostas.