Model Routing

Il routing dei modelli consiste nello scegliere, per ogni richiesta in arrivo, quale tra diversi modelli di IA distribuiti debba gestirla. Un router esamina la richiesta e, in alcuni sistemi, la prima risposta di un modello economico, poi la inoltra al candidato che soddisfa l'obiettivo di qualità al costo minore o con la latenza di inferenza più bassa. Le richieste semplici vengono indirizzate a un modello piccolo e veloce; solo gli input che ne hanno bisogno raggiungono un modello più grande. Il risparmio può essere notevole perché i prezzi dei modelli variano molto: in FrugalGPT, Lingjiao Chen, Matei Zaharia e James Zou di Stanford hanno rilevato che le tariffe delle API dei modelli linguistici di grandi dimensioni (LLM) più diffusi differivano di circa due ordini di grandezza e che la loro cascata appresa raggiungeva la precisione di GPT-4 con un costo fino al 98% inferiore.

Strategie di routing#

I router differiscono per le informazioni disponibili al momento della decisione:

• Routing basato su regole: Campi espliciti della richiesta determinano il modello, ad esempio l'attività, la lingua dell'input, il tipo di file o il livello del cliente. Le regole sono prevedibili e facili da verificare, ma non possono valutare la difficoltà di un input specifico.
• Routing appreso: Un classificatore piccolo prevede, prima che venga eseguito un modello grande, se la risposta di un modello più debole sarà abbastanza valida. Nel 2024, Isaac Ong e colleghi di LMSYS e UC Berkeley hanno addestrato RouteLLM con dati sulle preferenze umane raccolti da Chatbot Arena e, in alcuni contesti, hanno ridotto i costi di oltre la metà senza diminuire la qualità delle risposte.
• Cascate: Il modello meno costoso risponde per primo e la richiesta viene inoltrata a un modello superiore quando la confidenza della risposta o il giudizio di un modello di valutazione scendono sotto una soglia. Le cascate richiedono una seconda chiamata per gli input difficili e decidono avendo già a disposizione la prima risposta.

Il routing è ormai integrato nei prodotti. Quando OpenAI ha lanciato GPT-5 in ChatGPT nell'agosto 2025, un router in tempo reale sceglieva per ogni messaggio tra un modello veloce e un modello di ragionamento più approfondito, in base al tipo e alla complessità della conversazione, alle esigenze di utilizzo degli strumenti e all'intento esplicito, come «ragiona a fondo su questo». Anche le piattaforme cloud offrono router gestiti, come Amazon Bedrock intelligent prompt routing, che prevede la qualità della risposta per ogni prompt e sceglie tra due modelli della stessa famiglia.

Una cascata basata sulla confidenza per la visione#

La stessa idea si applica alla distribuzione dei modelli per il rilevamento di oggetti. YOLO26 è disponibile in cinque dimensioni tramite un'unica API: da YOLO26n, con 40,9 mAP su COCO e 38,9 ms per immagine su CPU con ONNX, a YOLO26x, con 57,5 mAP e 525,8 ms. Una cascata può quindi eseguire il modello nano su ogni immagine e inviare al modello extra-large solo le immagini con rilevamenti a bassa confidenza:

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

L'output indica il modello che ha prodotto la risposta finale. Aumentando la soglia di 0,5, più immagini vengono inviate a YOLO26x; la soglia determina quindi il compromesso tra mean average precision e costo medio per immagine, da ottimizzare su immagini tenute da parte provenienti dalla distribuzione.

Termini correlati#

Il routing dei modelli viene spesso confuso con concetti affini:

• Bilanciamento del carico: Distribuisce le richieste tra repliche identiche dello stesso modello per ripartire il carico. Ogni replica fornisce la stessa risposta.
• Miscela di esperti: Una rete di gating all'interno di un unico modello indirizza ogni token a pochi layer esperti; gli esperti vengono addestrati insieme alla rete di gating.
• Ensemble di modelli: Esegue diversi modelli sullo stesso input e combina i risultati, aumentando il costo per richiesta.
• Gateway per IA: Il livello infrastrutturale tra le applicazioni e i provider dei modelli, che spesso ospita il router insieme all'autenticazione, ai limiti di frequenza e alla registrazione dei log.
• Orchestrazione di agenti IA: Sceglie quale agente o strumento gestisce ogni passaggio di un'attività; ciascuno di questi passaggi può prendere una propria decisione di routing dei modelli.

I router vengono valutati su traffico rappresentativo rispetto al caso di riferimento in cui si chiama sempre il modello più potente. RouteLLM misura il divario di prestazioni recuperato, cioè la quota della differenza di qualità tra il modello debole e quello potente mantenuta dal router, per ogni percentuale di chiamate inviate al modello potente. In produzione, il monitoraggio dei modelli tiene traccia della frequenza di escalation, della latenza e del costo per richiesta di ogni percorso, perché una variazione del traffico in ingresso modifica tutti e tre.