Model Routing

El enrutamiento de modelos es el proceso de seleccionar qué modelo de inteligencia artificial debe gestionar cada solicitud entrante. En lugar de enviar cada entrada a un único modelo, una capa de enrutamiento evalúa señales como la tarea solicitada, el tipo de entrada, la complejidad, el objetivo de latencia, el límite de coste, la disponibilidad de hardware o los requisitos de confianza. A continuación, reenvía la solicitud al candidato más adecuado. En este contexto, un «enrutador» es un componente de decisión de inferencia, no un enrutador de red físico. El enrutamiento ayuda a los sistemas de aprendizaje automático multimodelo a equilibrar la calidad de las predicciones, el uso de recursos y la latencia de inferencia.

Cómo funciona el enrutamiento de modelos#

Un sistema de enrutamiento suele contener un grupo de modelos desplegados, lógica de decisión y una interfaz de aplicación común. La aplicación envía una solicitud, el enrutador selecciona un modelo apto y la capa de servidor de modelos devuelve el resultado de dicho modelo.

Las decisiones de enrutamiento pueden ser:

• Basadas en reglas: Selecciona un modelo mediante metadatos explícitos, como enrutar las imágenes que solicitan máscaras a un modelo de segmentación.
• Basadas en puntuaciones: Estima la calidad, el coste o el tiempo de respuesta esperados de cada candidato y elige la opción con mayor puntuación.
• Basadas en aprendizaje: Utiliza un clasificador ligero o un modelo de enrutamiento para inferir qué candidato coincide mejor con la entrada.
• En cascada: Ejecuta primero un modelo rápido y, a continuación, escala los resultados inciertos o de alto riesgo a un modelo más capaz.

Por ejemplo, el enrutamiento de avisos inteligente de Amazon Bedrock predice la calidad de la respuesta antes de elegir entre modelos de lenguaje, mientras que la guía de estrategia de enrutamiento de modelos de Microsoft describe el enrutamiento basado en costes, calidad y equilibrio. Se aplican principios similares a la visión artificial: las solicitudes se pueden enrutar por tarea, ubicación de la cámara, resolución de imagen o el detalle de predicción requerido.

Conceptos relacionados y diferencias clave#

El enrutamiento de modelos está estrechamente relacionado con otras técnicas multimodelo, pero los términos no son intercambiables.

• Pasarelas de IA: Una pasarela de IA proporciona una capa de control más amplia para la autenticación, las cuotas, el registro y la gestión del tráfico. La selección de modelos puede ser una de las capacidades de la pasarela. La extensión de inferencia de la API de pasarela de Kubernetes también distingue el enrutamiento consciente de los modelos de la selección de puntos de conexión y el equilibrio de carga.
• Ensembles de modelos: Un ensemble normalmente ejecuta varios modelos y combina sus predicciones. Un enrutador suele elegir un solo modelo, lo que reduce el cálculo. Los modelos de ensemble de NVIDIA Triton, en cambio, definen flujos de datos fijos a través de varios modelos.
• Mezcla de expertos: Una arquitectura de mezcla de expertos enruta las representaciones internas a componentes dentro de una única red neuronal. El enrutamiento de modelos selecciona entre modelos o puntos de conexión desplegables por separado.
• Enrutamiento de agentes: Un enrutador de agentes elige un agente, flujo de trabajo o herramienta especializado. El enrutamiento de modelos elige el modelo subyacente que realiza un paso de inferencia. En un sistema basado en agentes, pueden estar presentes ambas formas de enrutamiento.

El equilibrio de carga es otra distinción importante. Distribuye las solicitudes entre réplicas del mismo servicio para mejorar la disponibilidad o el rendimiento. El enrutamiento de modelos elige entre modelos con diferentes capacidades, costes o salidas.

Aplicaciones en el mundo real#

Inspección visual: Un sistema de fabricación puede utilizar la detección de objetos para el recuento rutinario de piezas, pero enrutar los supuestos defectos superficiales a la segmentación de instancias para obtener límites precisos. Ultralytics YOLO26 admite tanto la detección de objetos como la segmentación de instancias, lo que hace posible el enrutamiento basado en tareas dentro de una API coherente. Esto evita pagar el coste de la segmentación cuando las cajas delimitadoras son suficientes.

Asistentes de IA: Un asistente de soporte puede enviar solicitudes sencillas de clasificación y búsqueda a un modelo de lenguaje pequeño y rápido, reservando un modelo más potente para el razonamiento complejo o el uso de herramientas. La guía de arquitectura basada en agentes de Google Cloud describe este patrón como una forma de equilibrar la calidad, la latencia y el coste. A diferencia de una cascada fija, el enrutamiento dinámico puede seleccionar el modelo más potente antes de generar una respuesta inicial.

Implementación y evaluación de un enrutador#

Este ejemplo mínimo de Ultralytics enruta una imagen a la detección o a la segmentación según la salida solicitada por una aplicación:

from ultralytics import YOLO

models = {
    "detect": YOLO("yolo26n.pt"),
    "segment": YOLO("yolo26n-seg.pt"),
}

requested_task = "segment"
source = "https://ultralytics.com/images/bus.jpg"

model = models.get(requested_task)
if model is None:
    raise ValueError(f"Unsupported task: {requested_task}")

results = model(source)
result = results[0]
result.save(filename=f"{requested_task}_result.jpg")

La regla es intencionadamente sencilla: las solicitudes que necesitan máscaras de objetos van a la segmentación, mientras que las solicitudes que solo necesitan cajas delimitadoras pueden utilizar la detección. Los enrutadores de producción también pueden tener en cuenta la precisión medida, la profundidad de la cola, el tipo de dispositivo, las restricciones de privacidad o el estado de salud del servicio.

Evalúa el enrutamiento en tráfico representativo en lugar de limitarte a los promedios de los modelos. Realiza un seguimiento de la distribución de rutas, la latencia de extremo a extremo, el coste, los fallos y la calidad a nivel de tarea para cada modelo seleccionado. La guía de observabilidad de OpenTelemetry explica cómo los rastros, las métricas y los registros pueden seguir solicitudes individuales a través de servicios distribuidos. El monitoreo de despliegues de la plataforma Ultralytics también permite inspeccionar la latencia de los puntos de conexión, los errores, el estado de salud y la actividad de las solicitudes.

Un enrutamiento incorrecto puede aumentar los costes, incumplir los objetivos de latencia o enviar entradas difíciles a un modelo inadecuado. Por lo tanto, los equipos deben definir un comportamiento de reserva, restringir los modelos elegibles para cargas de trabajo sensibles, registrar la ruta seleccionada y volver a probar periódicamente la política. Estos controles alinean las decisiones de enrutamiento con las prácticas más amplias del marco de gestión de riesgos de IA del NIST.