Model Routing

El enrutamiento de modelos consiste en decidir qué modelo de IA, entre varios implementados, debe atender cada solicitud entrante. Un enrutador inspecciona la solicitud y, en algunos diseños, la primera respuesta de un modelo barato; después, la envía al candidato que alcance el nivel de calidad objetivo con el menor coste o la menor latencia de inferencia. Las solicitudes sencillas van a un modelo pequeño y rápido; solo las entradas que lo necesitan llegan a uno mayor. El ahorro puede ser considerable porque los precios de los modelos varían mucho: en FrugalGPT, Lingjiao Chen, Matei Zaharia y James Zou, de Stanford, observaron que las tarifas de las API de los modelos de lenguaje grandes (LLM) más populares diferían en unas dos órdenes de magnitud, y que la cascada entrenada por ellos igualaba la precisión de GPT-4 con un coste hasta un 98 % menor.

Estrategias de enrutamiento#

Los enrutadores se diferencian por la información que tienen cuando toman la decisión:

• Enrutamiento basado en reglas: Los campos explícitos de la solicitud seleccionan el modelo, como la tarea, el idioma de entrada, el tipo de archivo o el nivel del cliente. Las reglas son predecibles y fáciles de auditar, pero no pueden evaluar la dificultad de una entrada concreta.
• Enrutamiento aprendido: Un clasificador pequeño predice, antes de ejecutar cualquier modelo grande, si la respuesta de un modelo más débil será suficientemente buena. RouteLLM, creado por Isaac Ong y sus colegas de LMSYS y UC Berkeley en 2024, entrenó estos enrutadores con datos de preferencias humanas de Chatbot Arena y redujo los costes más de la mitad en algunas configuraciones, sin disminuir la calidad de las respuestas.
• Cascadas: El modelo más barato responde primero y la solicitud pasa a otro nivel si la confianza de esa respuesta o el veredicto de un modelo de puntuación cae por debajo de un umbral. Las cascadas pagan una segunda llamada para las entradas difíciles y toman la decisión con la primera respuesta disponible.

El enrutamiento ya se ha incorporado a los productos. Cuando OpenAI lanzó GPT-5 en ChatGPT en agosto de 2025, un enrutador en tiempo real eligió para cada mensaje entre un modelo rápido y un modelo de razonamiento más profundo, teniendo en cuenta el tipo y la complejidad de la conversación, las herramientas necesarias y la intención explícita, por ejemplo, «piensa a fondo en esto». Las plataformas en la nube también ofrecen enrutadores gestionados, como el enrutamiento inteligente de indicaciones de Amazon Bedrock, que predice la calidad de respuesta de cada indicación y elige entre dos modelos de la misma familia.

Una cascada de confianza para visión#

La misma idea se aplica al despliegue de modelos para la detección de objetos. YOLO26 está disponible en cinco tamaños con una sola API: desde YOLO26n, con 40,9 mAP en COCO y 38,9 ms por imagen en una CPU con ONNX, hasta YOLO26x, con 57,5 mAP y 525,8 ms. Por tanto, una cascada puede ejecutar el modelo nano en todas las imágenes y enviar al modelo extragrande solo las imágenes con detecciones de baja confianza:

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

La salida indica qué modelo generó la respuesta final. Si se aumenta el umbral de 0,5, se envían más imágenes a YOLO26x; así se establece el equilibrio entre la precisión media promedio y el coste medio por imagen, que se ajusta con imágenes reservadas del despliegue.

Términos relacionados#

A menudo se confunde el enrutamiento de modelos con conceptos similares:

• Balanceo de carga: Distribuye las solicitudes entre réplicas idénticas de un mismo modelo para repartir la carga. Todas las réplicas dan la misma respuesta.
• Mezcla de expertos: Una red de compuertas dentro de un modelo envía cada token a unas pocas capas expertas, que se entrenan junto con la compuerta.
• Ensamblado de modelos: Ejecuta varios modelos con la misma entrada y combina sus resultados, lo que aumenta el coste por solicitud.
• Pasarela de IA: Capa de infraestructura entre las aplicaciones y los proveedores de modelos, donde a menudo se aloja el enrutador junto con la autenticación, los límites de frecuencia y el registro.
• Orquestación de agentes de IA: Decide qué agente o herramienta se encarga de cada paso de una tarea; cada uno de esos pasos puede tomar su propia decisión de enrutamiento de modelos.

Los enrutadores se evalúan con tráfico representativo y se comparan con el método de referencia, que siempre llama al modelo más potente. RouteLLM mide la brecha de rendimiento recuperada —la proporción de la diferencia de calidad entre los modelos débil y potente que conserva el enrutador— para cada proporción de llamadas que se envía al modelo potente. En producción, la supervisión de modelos realiza un seguimiento de la tasa de escalado, la latencia y el coste por solicitud de cada ruta, porque los cambios en el tráfico entrante afectan a los tres.