Model Routing

Маршрутизация моделей — это выбор одной из нескольких развёрнутых моделей ИИ для обработки каждого входящего запроса. Маршрутизатор анализирует запрос, а в некоторых схемах — и первый ответ недорогой модели, после чего передаёт его модели-кандидату, которая достигает целевого качества при наименьших затратах или задержке инференса. Простые запросы отправляются небольшой быстрой модели, а большой модели передаются только входные данные, которым она действительно нужна. Экономия может быть значительной, поскольку стоимость моделей сильно различается: в работе FrugalGPT Линцзяо Чэнь, Матей Захариа и Джеймс Зоу из Стэнфорда обнаружили, что тарифы популярных API больших языковых моделей (LLM) отличаются примерно на два порядка. Обученная ими каскадная система достигала точности GPT-4 при снижении затрат до 98%.

Стратегии маршрутизации#

Маршрутизаторы различаются тем, какую информацию они используют при принятии решения:

• Маршрутизация по правилам: явные поля запроса определяют модель — например, задача, язык входных данных, тип файла или тарифный уровень клиента. Правила предсказуемы и легко проверяются, но не позволяют оценить сложность конкретного входного запроса.
• Обучаемая маршрутизация: небольшой классификатор до запуска большой модели прогнозирует, будет ли достаточно хорош ответ более слабой модели. RouteLLM, созданная Айзеком Онгом и коллегами из LMSYS и UC Berkeley в 2024 году, обучалась на данных о предпочтениях людей из Chatbot Arena. В некоторых сценариях она сокращала затраты более чем вдвое без снижения качества ответов.
• Каскады: сначала отвечает самая дешёвая модель, а запрос передаётся следующей, если уверенность модели или оценка скоринговой модели ниже порога. В каскадах сложные входные данные оплачивают второй вызов, а решение принимается с учётом первого ответа.

Маршрутизация уже используется в продуктах. Когда OpenAI запустила GPT-5 в ChatGPT в августе 2025 года, маршрутизатор в реальном времени выбирал для каждого сообщения быструю модель или более глубокую модель рассуждений, учитывая тип беседы, сложность, потребность в инструментах и явное намерение, например «тщательно обдумай это». Платформы облачных вычислений тоже предлагают управляемые маршрутизаторы, например интеллектуальную маршрутизацию запросов Amazon Bedrock, которая прогнозирует качество ответа на каждый запрос и выбирает одну из двух моделей одного семейства.

Каскад с порогом уверенности для компьютерного зрения#

Тот же подход применим к развёртыванию моделей для обнаружения объектов. YOLO26 выпускается в пяти размерах с единым API: от YOLO26n с показателем COCO mAP 40,9 и временем обработки изображения на CPU с ONNX 38,9 мс до YOLO26x с mAP 57,5 и временем 525,8 мс. Поэтому каскад может запускать nano-модель для каждого изображения и отправлять изображения с обнаружениями низкой уверенности только сверхбольшой модели:

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

В выводе указана модель, которая сформировала окончательный ответ. При повышении порога 0,5 больше изображений отправляется в YOLO26x, что задаёт компромисс между средней точностью и средней стоимостью обработки изображения; порог настраивают на отложенных изображениях из целевого развёртывания.

Связанные понятия#

Маршрутизацию моделей часто путают с близкими понятиями:

• Балансировка нагрузки: распределяет запросы между одинаковыми копиями одной модели, чтобы равномерно распределить нагрузку. Все копии дают одинаковый ответ.
• Смесь экспертов: шлюзовая сеть внутри одной модели направляет каждый токен нескольким экспертным слоям, которые обучаются совместно со шлюзом.
• Ансамбль моделей: запускает несколько моделей на одних и тех же входных данных и объединяет их результаты, увеличивая стоимость каждого запроса.
• Шлюз ИИ: инфраструктурный уровень между приложениями и поставщиками моделей, который часто размещает маршрутизатор рядом со средствами аутентификации, ограничениями частоты запросов и журналированием.
• Оркестрация ИИ-агентов: выбирает агента или инструмент для каждого шага задачи, причём на каждом шаге может приниматься отдельное решение о маршрутизации модели.

Маршрутизаторы оценивают на репрезентативном трафике и сравнивают с базовым вариантом, в котором всегда вызывается самая мощная модель. RouteLLM измеряет долю восстановленного разрыва в производительности — ту часть разницы в качестве между слабой и сильной моделями, которую сохраняет маршрутизатор, — для каждой доли вызовов сильной модели. В производственной среде мониторинг моделей отслеживает долю эскалаций, задержку и стоимость каждого запроса для каждого маршрута, поскольку изменение входящего трафика влияет на все три показателя.