Model Routing

O roteamento de modelos consiste em escolher, para cada solicitação recebida, qual de vários modelos de AI implantados deve atendê-la. Um roteador analisa a solicitação e, em alguns projetos, a primeira resposta de um modelo barato; em seguida, encaminha a solicitação ao candidato que atende à meta de qualidade com o menor custo ou a menor latência de inferência. As solicitações simples vão para um modelo pequeno e rápido, e apenas as entradas que precisam disso chegam a um modelo maior. A economia pode ser significativa, pois os preços dos modelos variam muito: no FrugalGPT, Lingjiao Chen, Matei Zaharia e James Zou, de Stanford, descobriram que as tarifas de APIs populares de modelos de linguagem grandes (LLMs) diferiam em cerca de duas ordens de grandeza, e que a cascata treinada por eles igualava a precisão do GPT-4 com um custo até 98% menor.

Estratégias de roteamento#

Os roteadores diferem pelo que sabem no momento da decisão:

• Roteamento baseado em regras: Campos explícitos da solicitação escolhem o modelo, como a tarefa, o idioma da entrada, o tipo de arquivo ou a categoria do cliente. As regras são previsíveis e fáceis de auditar, mas não conseguem avaliar a dificuldade de uma entrada específica.
• Roteamento treinado: Um classificador pequeno prevê, antes da execução de qualquer modelo grande, se a resposta de um modelo mais fraco será boa o bastante. O RouteLLM, criado por Isaac Ong e colegas da LMSYS e da UC Berkeley em 2024, treinou roteadores desse tipo com dados de preferências humanas do Chatbot Arena e reduziu os custos em mais da metade em alguns cenários, sem diminuir a qualidade das respostas.
• Cascatas: O modelo mais barato responde primeiro, e a solicitação é encaminhada a outro modelo quando a confiança nessa resposta ou a avaliação de um modelo de pontuação fica abaixo de um limite. As cascatas pagam por uma segunda chamada para entradas difíceis e tomam a decisão com a primeira resposta em mãos.

O roteamento já chegou aos produtos. Quando a OpenAI lançou o GPT-5 no ChatGPT, em agosto de 2025, um roteador em tempo real escolhia entre um modelo rápido e um modelo de raciocínio mais profundo para cada mensagem, com base no tipo e na complexidade da conversa, nas necessidades de ferramentas e em intenções explícitas, como "pense bem sobre isso". As plataformas de nuvem também oferecem roteadores gerenciados, como o roteamento inteligente de prompts do Amazon Bedrock, que prevê a qualidade da resposta para cada prompt e escolhe entre dois modelos da mesma família.

Uma cascata baseada em confiança para visão#

A mesma ideia se aplica à implantação de modelos para detecção de objetos. O YOLO26 está disponível em cinco tamanhos por meio de uma única API, do YOLO26n, com 40,9 de mAP no COCO e 38,9 ms por imagem em uma CPU com ONNX, ao YOLO26x, com 57,5 de mAP e 525,8 ms. Assim, uma cascata pode executar o modelo nano em cada imagem e enviar apenas as imagens com detecções de baixa confiança para o modelo extra grande:

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

A saída mostra o modelo que produziu a resposta final. Aumentar o limite de 0,5 envia mais imagens para o YOLO26x e define o equilíbrio entre a precisão média e o custo médio por imagem, que é ajustado com imagens reservadas para teste da implantação.

Termos relacionados#

O roteamento de modelos costuma ser confundido com conceitos relacionados:

• Balanceamento de carga: Distribui as solicitações entre réplicas idênticas de um mesmo modelo para compartilhar a carga. Todas as réplicas fornecem a mesma resposta.
• Mistura de especialistas: Uma rede de gating dentro de um modelo encaminha cada token a algumas camadas especialistas, que são treinadas em conjunto com a rede de gating.
• Ensemble de modelos: Executa vários modelos na mesma entrada e combina as saídas, o que aumenta o custo por solicitação.
• Gateway de AI: A camada de infraestrutura entre as aplicações e os provedores de modelos, que costuma hospedar o roteador junto com a autenticação, os limites de taxa e o registro de logs.
• Orquestração de agentes de AI: Escolhe qual agente ou ferramenta executa cada etapa de uma tarefa; cada etapa também pode tomar sua própria decisão de roteamento de modelos.

Os roteadores são avaliados com tráfego representativo e comparados com a referência de sempre chamar o modelo mais potente. O RouteLLM mede a parcela da diferença de desempenho recuperada: a parte da diferença de qualidade entre o modelo fraco e o forte que o roteador mantém, em cada proporção de chamadas enviadas ao modelo forte. Em produção, o monitoramento de modelos acompanha a taxa de escalonamento, a latência e o custo por solicitação de cada rota, pois mudanças no tráfego recebido alteram os três.