Model Routing

Le routage de modèles consiste à choisir, pour chaque requête entrante, lequel de plusieurs modèles d’IA déployés doit la traiter. Un routeur examine la requête et, dans certaines configurations, la première réponse d’un modèle peu coûteux, puis la transmet au modèle candidat qui atteint le niveau de qualité visé au coût le plus bas ou avec la plus faible latence d’inférence. Les requêtes simples sont envoyées à un petit modèle rapide ; seules les entrées qui en ont besoin parviennent à un modèle plus grand. Les économies peuvent être importantes, car les tarifs des modèles varient considérablement : dans FrugalGPT, Lingjiao Chen, Matei Zaharia et James Zou, de Stanford, ont constaté que les tarifs des API de grands modèles de langage (LLM) populaires différaient d’environ deux ordres de grandeur. Leur cascade entraînée a atteint la précision de GPT-4 à un coût jusqu’à 98 % inférieur.

Stratégies de routage#

Les routeurs se distinguent par les informations dont ils disposent au moment de prendre leur décision :

• Routage fondé sur des règles : Des champs explicites de la requête déterminent le modèle, par exemple la tâche, la langue d’entrée, le type de fichier ou le niveau du client. Les règles sont prévisibles et faciles à auditer, mais elles ne peuvent pas évaluer la difficulté d’une entrée particulière.
• Routage appris : Un petit classificateur prédit, avant l’exécution de tout grand modèle, si la réponse d’un modèle moins puissant sera suffisante. RouteLLM, développé par Isaac Ong et ses collègues de LMSYS et de l’UC Berkeley en 2024, a entraîné de tels routeurs sur des données de préférences humaines issues de Chatbot Arena et a réduit les coûts de plus de moitié dans certains cas, sans dégrader la qualité des réponses.
• Cascades : Le modèle le moins coûteux répond en premier, et la requête est transférée vers un autre modèle lorsque le niveau de confiance de cette réponse ou l’évaluation d’un modèle de notation passe sous un seuil. Les cascades paient un deuxième appel pour les entrées difficiles et prennent leur décision en tenant compte de la première réponse.

Le routage s’est intégré aux produits. Lorsqu’OpenAI a lancé GPT-5 dans ChatGPT en août 2025, un routeur en temps réel choisissait pour chaque message entre un modèle rapide et un modèle de raisonnement plus approfondi, en fonction du type de conversation, de sa complexité, des outils nécessaires et d’une intention explicite telle que « réfléchis-y sérieusement ». Les plateformes cloud proposent également des routeurs gérés, comme le routage intelligent des invites d’Amazon Bedrock, qui prédit la qualité de réponse pour chaque invite et choisit entre deux modèles d’une même famille.

Une cascade fondée sur la confiance pour la vision#

La même idée s’applique au déploiement de modèles pour la détection d’objets. YOLO26 est proposé en cinq tailles via une seule API, de YOLO26n, qui atteint 40,9 mAP COCO et 38,9 ms par image sur un CPU avec ONNX, à YOLO26x, qui atteint 57,5 mAP et 525,8 ms ; une cascade peut donc exécuter le modèle nano sur chaque image et n’envoyer au modèle extra-large que les images dont les détections ont un faible niveau de confiance :

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

L’affichage indique le modèle qui a produit la réponse finale. Relever le seuil de 0,5 envoie davantage d’images à YOLO26x ; ce seuil définit donc le compromis entre la précision moyenne et le coût moyen par image, que l’on ajuste sur des images mises de côté provenant du déploiement.

Termes associés#

Le routage de modèles est souvent confondu avec des notions voisines :

• Équilibrage de charge : Répartit les requêtes entre des réplicas identiques d’un même modèle pour partager la charge. Chaque réplica produit la même réponse.
• Mélange d’experts : Un réseau de routage interne à un modèle envoie chaque jeton vers quelques couches expertes, et les experts sont entraînés conjointement avec le réseau de routage.
• Ensemble de modèles : Exécute plusieurs modèles sur la même entrée et combine leurs sorties, ce qui augmente le coût par requête.
• Passerelle d’IA : Couche d’infrastructure située entre les applications et les fournisseurs de modèles, qui héberge souvent le routeur aux côtés de l’authentification, des limites de débit et de la journalisation.
• Orchestration d’agents d’IA : Choisit l’agent ou l’outil qui traite chaque étape d’une tâche ; chacune de ces étapes peut prendre sa propre décision de routage de modèle.

Les routeurs sont évalués sur un trafic représentatif et comparés à la référence consistant à toujours appeler le modèle le plus puissant. RouteLLM mesure la part de l’écart de performance récupérée : la proportion de la différence de qualité entre le modèle faible et le modèle puissant que le routeur conserve, pour chaque proportion d’appels envoyés au modèle puissant. En production, la surveillance des modèles suit le taux de transfert, la latence et le coût par requête de chaque route, car toute évolution du trafic entrant modifie ces trois paramètres.