AI Gateway
Scopri cos'è un AI gateway, come instrada i modelli, controlla i costi, protegge le richieste e monitora l'inferenza per implementazioni AI e Ultralytics YOLO affidabili.
Un gateway AI è un livello di controllo posizionato tra le applicazioni e uno o più servizi di intelligenza artificiale. Come un API gateway, riceve richieste e le inoltra ai backend, ma aggiunge controlli specifici per l'IA riguardanti la selezione del modello, l'utilizzo di token o di risorse di calcolo, la sicurezza, la privacy, i costi e le prestazioni. Può fornire un unico endpoint stabile per modelli cloud, sistemi self-hosted e Ultralytics YOLO model serving, rendendo i sistemi di intelligenza artificiale in produzione più facili da gestire man mano che i loro modelli e provider cambiano. (learn.microsoft.com)
Link to this sectionCome funziona un AI Gateway#
Il gateway valuta ogni richiesta in entrata prima di inviarla a un inference engine. A seconda delle policy configurate, può:
- Autenticare e proteggere le richieste: Applicare controlli di accesso, quote, convalida dell'input e difese basate su OWASP Top 10 for LLM Applications, insieme a pratiche più ampie di data security.
- Instradare il traffico in modo intelligente: Selezionare un modello o un endpoint in base a latenza, disponibilità, costo, regione, attività o carico hardware. Il Kubernetes Gateway API Inference Extension standardizza l'instradamento basato sul modello per i modelli generativi self-hosted.
- Migliorare l'affidabilità: Utilizzare tentativi, bilanciamento del carico e Vercel AI Gateway model fallbacks quando un provider o un modello diventa non disponibile.
- Controllare il consumo: Applicare budget di richiesta, di token o di calcolo tramite policy come Envoy Gateway rate limiting.
- Registrare la telemetria: Acquisire latenza, errori, scelte del modello e utilizzo tramite sistemi di observability utilizzando standard come OpenTelemetry GenAI attributes. (gateway.envoyproxy.io)
Link to this sectionApplicazioni nel mondo reale#
- Ispezione visiva nel retail: Le telecamere inviano immagini di prodotti tramite un gateway a un YOLO26 object detection model. Il gateway autentica ogni punto vendita, limita il volume delle richieste, instrada il traffico verso la distribuzione più vicina e invia i fallimenti a un endpoint di backup, supportando una real-time inference affidabile.
- Assistente clienti multi-modello: Un'applicazione utilizza Vercel AI Gateway unified API o Cloudflare AI Gateway per instradare domande semplici a un modello a basso costo e richieste complesse a uno più capace. I log supportano l'analisi dei costi, il debug e il model monitoring.
- Accesso IA aziendale: Le organizzazioni possono utilizzare le Azure API Management AI gateway capabilities per governare modelli, strumenti e servizi remoti Model Context Protocol services tramite autenticazione centralizzata, quote, logging e policy di sicurezza dei contenuti. (learn.microsoft.com)
Link to this sectionEsempio di visione artificiale#
Il codice di inferenza rimane focalizzato sulla predizione mentre il gateway gestisce l'accesso, l'instradamento, i limiti e la telemetria:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})Questo gestore potrebbe essere eseguito dietro un Ultralytics Platform deployment endpoint, dove il deployment monitoring traccia richieste, latenza, errori, log e controlli di integrità. (learn.microsoft.com)
Link to this sectionAI Gateway vs. Termini correlati#
Un AI gateway gestisce il traffico prima e dopo l'esecuzione del modello, mentre il model deployment mette un modello in produzione e il model serving esegue le predizioni. Un inference gateway è più specializzato, ottimizzando l'instradamento tra repliche di modelli o acceleratori. Nel frattempo, AI agent orchestration coordina decisioni multi-step e strumenti anziché controllare l'accesso alla rete.
Le attuali best practice includono ridurre al minimo il contenuto sensibile registrato, applicare controlli sulla data privacy, testare i percorsi di fallback, tracciare la qualità e i costi per modello e seguire il NIST Generative AI Risk Management Profile. Recenti ricerche su LLM control planes e adversarial risks in model routing evidenziano anche l'importanza di policy verificabili e decisioni di instradamento sicure. (nist.gov)
