Model Routing

모델 라우팅은 들어오는 각 요청을 처리할 여러 배포된 AI 모델 중 하나를 선택하는 방식입니다. 라우터는 요청을 검사하고, 일부 설계에서는 저비용 모델의 첫 응답도 확인한 뒤, 품질 목표를 충족하면서 비용이나 추론 지연 시간이 가장 낮은 후보 모델로 요청을 전달합니다. 간단한 요청은 소형 고속 모델에 보내고, 더 큰 모델이 필요한 입력만 해당 모델에 전달합니다. 모델 가격 차이가 매우 크므로 비용 절감 효과도 클 수 있습니다. FrugalGPT에서 스탠퍼드의 Lingjiao Chen, Matei Zaharia, James Zou는 널리 쓰이는 대규모 언어 모델(LLM) API의 요금이 약 100배 차이 난다는 사실을 확인했으며, 학습된 캐스케이드를 사용해 최대 98% 낮은 비용으로 GPT-4와 동일한 정확도를 달성했습니다.

라우팅 전략#

라우터는 결정을 내릴 때 활용하는 정보에 따라 달라집니다.

• 규칙 기반 라우팅: 작업, 입력 언어, 파일 형식, 고객 등급 등 명시적인 요청 필드에 따라 모델을 선택합니다. 규칙은 예측 가능하고 감사하기 쉽지만, 특정 입력의 난이도를 판단할 수는 없습니다.
• 학습 기반 라우팅: 대형 모델을 실행하기 전에 소형 분류기가 약한 모델의 답변이 충분히 좋은지 예측합니다. 2024년 LMSYS와 UC Berkeley의 Isaac Ong과 동료들은 Chatbot Arena의 인간 선호도 데이터로 이러한 라우터를 학습한 RouteLLM을 개발했습니다. RouteLLM은 일부 설정에서 답변 품질을 낮추지 않으면서 비용을 절반 이상 절감했습니다.
• 캐스케이드: 가장 저렴한 모델이 먼저 답변하고, 그 답변의 신뢰도나 평가 모델의 판정이 임계값보다 낮으면 요청을 상위 모델로 넘깁니다. 캐스케이드는 어려운 입력에 대해 두 번째 호출 비용을 지불하며, 첫 번째 답변을 확인한 뒤 결정을 내립니다.

라우팅은 제품에도 도입되었습니다. OpenAI가 2025년 8월 ChatGPT에 GPT-5를 출시했을 때, 실시간 라우터는 대화 유형, 복잡성, 도구 필요 여부, "이 문제를 깊이 생각해 봐"와 같은 명시적 의도를 바탕으로 각 메시지마다 고속 모델과 더 심층적인 추론 모델 중 하나를 선택했습니다. 클라우드 플랫폼도 관리형 라우터를 제공합니다. 예를 들어 Amazon Bedrock 지능형 프롬프트 라우팅은 각 프롬프트에 대한 응답 품질을 예측하고 같은 제품군의 두 모델 중 하나를 선택합니다.

비전 모델을 위한 신뢰도 캐스케이드#

동일한 개념은 객체 탐지를 위한 모델 배포에도 적용됩니다. YOLO26은 하나의 API를 통해 다섯 가지 크기로 제공됩니다. CPU에서 ONNX를 사용해 이미지당 40.9 COCO mAP와 38.9ms를 기록하는 YOLO26n부터 57.5 mAP와 525.8ms를 기록하는 YOLO26x까지 있습니다. 따라서 캐스케이드는 모든 이미지에 나노 모델을 실행하고 신뢰도가 낮은 탐지 결과가 있는 이미지만 초대형 모델로 보낼 수 있습니다:

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

출력에는 최종 답변을 생성한 모델이 표시됩니다. 임계값을 0.5보다 높이면 더 많은 이미지가 YOLO26x로 전달되므로, 이는 평균 정밀도와 이미지당 평균 비용 사이의 절충점을 설정합니다. 이 값은 배포 환경의 보류 이미지를 사용해 조정합니다.

관련 용어#

모델 라우팅은 인접한 개념과 혼동되는 경우가 많습니다.

• 로드 밸런싱: 하나의 모델과 동일한 복제본 여러 개에 요청을 분산해 부하를 나눕니다. 모든 복제본은 같은 답변을 제공합니다.
• 전문가 혼합: 하나의 모델 안에 있는 게이팅 네트워크가 각 토큰을 몇 개의 전문가 레이어로 전달하며, 전문가와 게이트를 함께 학습합니다.
• 모델 앙상블: 동일한 입력에 여러 모델을 실행하고 출력을 결합하므로 요청당 비용이 더 많이 듭니다.
• AI 게이트웨이: 애플리케이션과 모델 제공업체 사이에 위치하는 인프라 계층으로, 인증, 요청 제한, 로깅 기능과 함께 라우터를 호스팅하는 경우가 많습니다.
• AI 에이전트 오케스트레이션: 작업의 각 단계를 처리할 에이전트나 도구를 선택하며, 각 단계에서 자체 모델 라우팅 결정을 내릴 수 있습니다.

라우터는 항상 가장 강력한 모델을 호출하는 기준선과 비교해 대표 트래픽을 대상으로 평가합니다. RouteLLM은 강한 모델에 보낸 호출 비율별로 회복된 성능 격차, 즉 약한 모델과 강한 모델 간 품질 차이 중 라우터가 유지한 비율을 측정합니다. 프로덕션에서는 모델 모니터링을 통해 각 경로의 에스컬레이션 비율, 지연 시간, 요청당 비용을 추적합니다. 유입 트래픽이 바뀌면 이 세 가지 지표가 모두 달라지기 때문입니다.