AI Gateway

Un gateway IA è un proxy che si interpone tra le applicazioni e i modelli IA che chiamano. Le applicazioni inviano ogni richiesta a un unico endpoint e il gateway gestisce le credenziali dei provider, sceglie il modello, riprova le richieste non riuscite, applica i limiti di utilizzo, restituisce risposte memorizzate nella cache, filtra i contenuti e registra ogni chiamata. È la versione specifica per l’IA di un API gateway: le richieste ai modelli linguistici di grandi dimensioni (LLM) vengono tariffate e limitate in base ai token, le risposte spesso vengono trasmesse in streaming, i formati dei payload variano a seconda del provider e i prompt e le risposte stessi devono essere esaminati per rilevare prompt injection e dati personali divulgati. Gateway ospitati come Cloudflare AI Gateway, Vercel AI Gateway e OpenRouter, e proxy self-hosted come LiteLLM, Kong AI Gateway ed Envoy AI Gateway, espongono in genere un’API compatibile con OpenAI, quindi per il codice client esistente è sufficiente cambiare l’URL di base.

Funzioni principali#

La maggior parte dei gateway combina gli stessi elementi di base:

• API e chiavi unificate: Un unico formato di richiesta supporta molti provider. Il gateway archivia le credenziali dei provider e rilascia chiavi proprie a ogni team o applicazione, così puoi revocare o misurare gli accessi senza intervenire sugli account dei provider.
• Instradamento dei modelli e fallback: Ogni richiesta viene inviata a un modello scelto in base a regole, costi o a un router appreso; una chiamata non riuscita o soggetta a limiti di frequenza viene ripetuta su un modello o provider di riserva.
• Budget di token: I limiti contano i token al minuto e la spesa per periodo. La policy llm-token-limit di Azure API Management restituisce 429 quando viene superato il limite di token al minuto e 403 quando si esaurisce una quota; le richieste simultanee possono superare temporaneamente il limite, perché il costo in token di una chiamata è noto solo al suo completamento.
• Caching semantico: Le cache basate sulla corrispondenza esatta o sul significato restituiscono risposte archiviate per prompt ripetuti o equivalenti, senza chiamare un modello.
• Misure di protezione: Prompt e risposte vengono analizzati per individuare istruzioni iniettate, dati personali e violazioni delle policy prima di essere inoltrati.
• Osservabilità: Ogni chiamata viene registrata con modello, conteggio dei token, latenza e costo. Le convenzioni semantiche GenAI di OpenTelemetry standardizzano i nomi degli attributi, come gen_ai.usage.input_tokens, così questi log funzionano con diversi strumenti di monitoraggio.

Una richiesta supera questi controlli nell’ordine seguente:

Gateway per modelli self-hosted#

I team che eseguono i propri modelli hanno bisogno di un gateway che comprenda i server dei modelli. La Kubernetes Gateway API Inference Extension trasforma gateway come Envoy Gateway e GKE Gateway in gateway di inferenza: un selettore di endpoint legge le metriche di ogni replica del server del modello, come lo stato della cache dei prefissi e gli adattatori LoRA caricati, e invia ogni richiesta alla replica in grado di gestirla più rapidamente. Questo mantiene elevato il riutilizzo della cache KV su server come vLLM, cosa che un bilanciatore del carico round-robin non può fare perché ignora i dati memorizzati nella cache di ogni replica.

Gli stessi controlli del gateway si applicano alle API di visione artificiale. Ultralytics Platform li applica alla sua API del modello condivisa: le richieste si autenticano con qualsiasi chiave API attiva dell’area di lavoro, ogni chiave è limitata a 20 richieste al minuto e le chiamate soggette a limitazione ricevono una risposta 429 con un header Retry-After. Le richieste inviate direttamente a un endpoint dedicato non sono soggette a tale limite.

Gateway IA a confronto con termini correlati#

Un API gateway gestisce autenticazione, limiti di frequenza e instradamento per qualsiasi servizio web, contando le richieste. Un gateway IA aggiunge il conteggio dei token, la traduzione tra provider, il supporto dello streaming e l’ispezione dei contenuti. Il serving dei modelli esegue il modello e restituisce previsioni; il gateway si trova davanti a uno o più endpoint di serving. L’orchestrazione di agenti IA pianifica attività articolate in più passaggi attraverso strumenti e modelli, e le singole chiamate al modello dell’agente possono transitare attraverso un gateway. Il Model Context Protocol collega gli agenti agli strumenti e alcuni gateway, tra cui Azure API Management, gestiscono i server MCP con le stesse chiavi, gli stessi limiti e gli stessi log.

I gateway aggiungono un passaggio di rete a ogni chiamata e diventano una dipendenza condivisa da tutte le funzionalità IA, quindi le distribuzioni di produzione li eseguono in modo ridondante tra diverse zone. I gateway ospitati vedono anche ogni prompt e risposta, il che li include nell’ambito delle verifiche sulla privacy dei dati; gateway come Cloudflare AI Gateway e LiteLLM consentono di disattivare la memorizzazione dei corpi dei prompt e delle risposte.