Model Routing

Định tuyến model là cách chọn model nào trong số các AI model đã triển khai sẽ xử lý từng yêu cầu đầu vào. Router kiểm tra yêu cầu và, trong một số thiết kế, cả câu trả lời đầu tiên của một model chi phí thấp, sau đó chuyển yêu cầu đến ứng viên đáp ứng mục tiêu chất lượng với chi phí thấp nhất hoặc độ trễ suy luận thấp nhất. Yêu cầu đơn giản được chuyển đến model nhỏ, nhanh; chỉ đầu vào cần thiết mới được chuyển đến model lớn hơn. Mức tiết kiệm có thể rất lớn vì giá model chênh lệch đáng kể: trong FrugalGPT, Lingjiao Chen, Matei Zaharia và James Zou tại Stanford phát hiện phí của các API mô hình ngôn ngữ lớn (LLM) phổ biến chênh nhau khoảng hai bậc độ lớn; mô hình cascade được huấn luyện của họ đạt độ chính xác ngang GPT-4 với chi phí thấp hơn đến 98%.

Chiến lược định tuyến#

Các router khác nhau ở thông tin chúng sử dụng khi đưa ra quyết định:

• Định tuyến dựa trên quy tắc: Các trường rõ ràng trong yêu cầu xác định model, chẳng hạn tác vụ, ngôn ngữ đầu vào, loại file hoặc hạng khách hàng. Quy tắc dễ dự đoán và kiểm tra, nhưng không thể đánh giá độ khó của từng đầu vào cụ thể.
• Định tuyến có học: Một bộ phân loại nhỏ dự đoán, trước khi chạy bất kỳ model lớn nào, liệu câu trả lời của model yếu hơn có đủ tốt hay không. RouteLLM do Isaac Ong và cộng sự tại LMSYS và UC Berkeley phát triển năm 2024 đã huấn luyện các router như vậy trên dữ liệu sở thích của con người từ Chatbot Arena, giảm chi phí hơn một nửa trong một số thiết lập mà không làm giảm chất lượng câu trả lời.
• Cascade: Model có chi phí thấp nhất trả lời trước; yêu cầu được chuyển lên model cao hơn khi độ tin cậy của câu trả lời hoặc kết quả đánh giá của một model chấm điểm thấp hơn ngưỡng. Cascade cần trả phí cho cuộc gọi thứ hai với đầu vào khó, nhưng có thể đưa ra quyết định dựa trên câu trả lời đầu tiên.

Định tuyến đã được tích hợp vào sản phẩm. Khi OpenAI ra mắt GPT-5 trong ChatGPT vào tháng 8 năm 2025, một router thời gian thực chọn model nhanh hoặc model suy luận chuyên sâu hơn cho từng tin nhắn, dựa trên loại hội thoại, độ phức tạp, nhu cầu sử dụng công cụ và ý định được nêu rõ như “hãy suy nghĩ kỹ về việc này”. Các nền tảng đám mây cũng cung cấp router được quản lý, chẳng hạn định tuyến prompt thông minh của Amazon Bedrock, dự đoán chất lượng phản hồi cho từng prompt và chọn giữa hai model cùng họ.

Cascade độ tin cậy cho thị giác máy tính#

Ý tưởng tương tự cũng áp dụng cho triển khai model phát hiện đối tượng. YOLO26 có năm kích thước dùng chung một API, từ YOLO26n với 40.9 COCO mAP và 38.9 ms mỗi ảnh trên CPU với ONNX, đến YOLO26x với 57.5 mAP và 525.8 ms; do đó, cascade có thể chạy model nano trên mọi ảnh và chỉ gửi những ảnh có phát hiện độ tin cậy thấp đến model extra-large:

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

Kết quả in ra tên model tạo ra câu trả lời cuối cùng. Tăng ngưỡng 0.5 sẽ gửi nhiều ảnh hơn đến YOLO26x, qua đó xác định mức đánh đổi giữa độ chính xác trung bình và chi phí trung bình trên mỗi ảnh; ngưỡng được tinh chỉnh trên các ảnh giữ lại từ môi trường triển khai.

Các thuật ngữ liên quan#

Định tuyến model thường bị nhầm lẫn với các khái niệm gần giống:

• Cân bằng tải: Phân phối yêu cầu qua các bản sao giống hệt của cùng một model để chia sẻ tải. Mọi bản sao đều đưa ra cùng một câu trả lời.
• Hỗn hợp chuyên gia: Một mạng gating bên trong model chuyển từng token đến một số ít layer chuyên gia; các chuyên gia được huấn luyện đồng thời cùng với gate.
• Tổ hợp model: Chạy nhiều model trên cùng đầu vào và kết hợp đầu ra, làm tăng chi phí cho mỗi yêu cầu.
• Cổng AI: Lớp hạ tầng nằm giữa ứng dụng và nhà cung cấp model, thường lưu trữ router cùng với các chức năng xác thực, giới hạn tốc độ và ghi log.
• Điều phối tác tử AI: Chọn tác tử hoặc công cụ xử lý từng bước của một tác vụ; mỗi bước như vậy có thể tự đưa ra quyết định định tuyến model.

Router được đánh giá trên lưu lượng đại diện, so với baseline luôn gọi model mạnh nhất. RouteLLM đo phần chênh lệch hiệu năng được bù đắp: tỷ lệ chênh lệch chất lượng giữa model yếu và model mạnh mà router giữ lại ở mỗi tỷ lệ cuộc gọi được gửi đến model mạnh. Trong môi trường production, giám sát model theo dõi tỷ lệ chuyển cấp, độ trễ và chi phí mỗi yêu cầu của từng tuyến, vì sự thay đổi của lưu lượng đầu vào tác động đến cả ba chỉ số.