AI Gateway
Scopri cos'è un AI gateway, come instrada i modelli, controlla i costi, protegge le richieste e monitora l'inferenza per implementazioni AI e Ultralytics YOLO affidabili.
Un AI gateway è un livello di controllo posizionato tra le applicazioni e uno o più servizi di intelligenza artificiale. Come un API gateway, riceve le richieste e le inoltra ai backend, ma aggiunge controlli specifici per l'IA relativi a selezione dei modelli, utilizzo di token o di risorse di calcolo, sicurezza, privacy, costi e prestazioni. Può fornire un unico endpoint stabile per modelli cloud, sistemi self-hosted e Ultralytics YOLO model serving, semplificando la governance dei artificial intelligence systems di produzione man mano che i loro modelli e fornitori cambiano. (learn.microsoft.com)
Come funziona un AI Gateway#
Il gateway valuta ogni richiesta in arrivo prima di inviarla a un inference engine. A seconda delle policy configurate, potrebbe:
- Autenticare e proteggere le richieste: applicare controlli di accesso, quote, validazione degli input e difese basate sulla OWASP Top 10 for LLM Applications, insieme a pratiche più ampie di data security.
- Instradare il traffico in modo intelligente: selezionare un modello o un endpoint in base a latenza, disponibilità, costo, area geografica, attività o carico hardware. La Kubernetes Gateway API Inference Extension standardizza l'instradamento basato sui modelli per i modelli generativi self-hosted.
- Migliorare l'affidabilità: utilizzare tentativi ripetuti (retry), bilanciamento del carico e i Vercel AI Gateway model fallbacks quando un fornitore o un modello non è disponibile.
- Controllare il consumo: applicare budget per richieste, token o calcolo tramite policy come il Envoy Gateway rate limiting.
- Registrare la telemetria: catturare latenza, errori, scelte dei modelli e utilizzo tramite sistemi di observability che utilizzano standard come gli OpenTelemetry GenAI attributes. (gateway.envoyproxy.io)
Applicazioni nel mondo reale#
- Retail Vision Inspection: Le telecamere inviano le immagini dei prodotti tramite un gateway a un YOLO26 object detection model. Il gateway autentica ogni negozio, limita il volume delle richieste, instrada il traffico verso la distribuzione più vicina e invia i fallimenti a un endpoint di backup, supportando un affidabile real-time inference.
- Multi-Model Customer Assistant: Un'applicazione utilizza la Vercel AI Gateway unified API o Cloudflare AI Gateway per instradare le domande semplici a un modello più economico e le richieste complesse a uno più potente. I log supportano analisi dei costi, debugging e model monitoring.
- Enterprise AI Access: Le organizzazioni possono utilizzare le Azure API Management AI gateway capabilities per governare modelli, strumenti e servizi remoti Model Context Protocol services attraverso autenticazione centralizzata, quote, registrazione dei log e policy di sicurezza dei contenuti. (learn.microsoft.com)
Esempio di visione artificiale#
Il codice di inferenza rimane focalizzato sulla predizione mentre il gateway gestisce l'accesso, l'instradamento, i limiti e la telemetria:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})Questo gestore potrebbe essere eseguito dietro a un Ultralytics Platform deployment endpoint, dove il deployment monitoring tiene traccia di richieste, latenza, errori, log e controlli di integrità (health check). (learn.microsoft.com)
AI Gateway vs. Termini correlati#
Un AI gateway gestisce il traffico prima e dopo l'esecuzione del modello, mentre il model deployment colloca un modello in produzione e il model serving esegue le predizioni. Un inference gateway è più specializzato e ottimizza l'instradamento tra repliche di modelli o acceleratori. Nel frattempo, l'AI agent orchestration coordina decisioni e strumenti in più fasi anziché controllare l'accesso alla rete.
Le attuali best practice includono la minimizzazione dei contenuti sensibili registrati, l'applicazione di controlli sulla data privacy, il test dei percorsi di fallback, il monitoraggio della qualità e dei costi per singolo modello e il rispetto del NIST Generative AI Risk Management Profile. Ricerche recenti su LLM control planes e adversarial risks in model routing evidenziano inoltre l'importanza di policy verificabili e decisioni di routing sicure. (nist.gov)
