Model Routing

模型路由是指针对每个传入请求，从多个已部署的AI模型中选择一个来处理请求。路由器会检查请求；在某些设计中，还会检查一个轻量模型给出的初步答案，然后将请求转发给满足质量目标且成本最低或推理延迟最低的候选模型。简单请求交给小型快速模型，只有确实需要更强模型的输入才会转给大型模型。由于模型价格差异很大，节省的成本可能相当可观：在 FrugalGPT研究中，斯坦福大学的 Lingjiao Chen、Matei Zaharia 和 James Zou 发现，常用大型语言模型（LLM） API 的费用相差约两个数量级，而他们训练的级联模型以最高低 98% 的成本达到了 GPT-4 的准确率。

路由策略#

路由器根据决策时掌握的信息而有所不同：

• 基于规则的路由：根据明确的请求字段选择模型，例如任务、输入语言、文件类型或客户等级。规则具有可预测性且易于审计，但无法判断特定输入的难度。
• 学习式路由：在大型模型运行之前，由一个小型分类器预测较弱模型的答案是否足够好。LMSYS 和加州大学伯克利分校的 Isaac Ong 等人于 2024 年推出 RouteLLM，使用 Chatbot Arena 的人工偏好数据训练此类路由器。在某些设置中，该方法将成本降低了一半以上，同时没有降低答案质量。
• 级联：由成本最低的模型先作答；当答案的置信度或评分模型的判定低于阈值时，再升级到更强的模型。级联方法会为困难输入支付第二次调用的费用，并根据第一个答案作出是否升级的决定。

路由已开始用于产品中。OpenAI 于 2025 年 8 月在 ChatGPT 中推出 GPT-5时，实时路由器会根据每条消息的对话类型、复杂度、工具需求以及“仔细想想这个问题”之类的明确意图，在快速模型和更深入的推理模型之间进行选择。云平台也提供托管路由器，例如 Amazon Bedrock 智能提示路由，它会预测每个提示词的响应质量，并在同一系列的两个模型之间作出选择。

视觉任务的置信度级联#

同样的思路也适用于目标检测的模型部署。YOLO26提供五种尺寸，使用同一个 API：从 YOLO26n（在 CPU 上使用 ONNX 时 COCO mAP 为 40.9、每张图像耗时 38.9 毫秒）到 YOLO26x（mAP 为 57.5、耗时 525.8 毫秒）。因此，级联可以对每张图像运行 nano 模型，并只将检测置信度较低的图像交给超大型模型处理：

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

输出会指出最终答案由哪个模型生成。提高 0.5 的阈值会让更多图像转交给 YOLO26x，因此这个阈值决定了平均精度均值与每张图像平均成本之间的权衡；你可以使用部署中的留出图像来调节阈值。

相关术语#

模型路由常常会与相近的概念混淆：

• 负载均衡：将请求分散到同一模型的多个相同副本上，以分摊负载。每个副本都会给出相同的答案。
• 专家混合模型：一个模型内部的门控网络会将每个 token 发送到少数几个专家层，专家与门控网络共同训练。
• 模型集成：对同一个输入运行多个模型并合并它们的输出，因此每个请求的成本更高。
• AI 网关：位于应用和模型提供方之间的基础设施层，通常会在此部署路由器，并处理身份验证、速率限制和日志记录。
• AI 智能体编排：为任务的每个步骤选择由哪个智能体或工具来处理；每个步骤都可以自行决定模型路由。

路由器会使用有代表性的流量进行评估，并与始终调用最强模型的基准方案比较。RouteLLM 会衡量恢复的性能差距：在发送给强模型的调用比例不同的情况下，路由器保留了弱模型和强模型之间质量差距的多少。在生产环境中，模型监控会跟踪每条路由的升级率、延迟和每个请求的成本，因为传入流量的变化会影响这三项指标。