Model Routing

Định tuyến mô hình là quá trình lựa chọn mô hình AI nào sẽ xử lý từng yêu cầu đến. Thay vì gửi mọi đầu vào tới một mô hình duy nhất, một lớp định tuyến sẽ đánh giá các tín hiệu như tác vụ được yêu cầu, loại đầu vào, độ phức tạp, mục tiêu độ trễ, giới hạn chi phí, khả năng sẵn có của phần cứng hoặc các yêu cầu về độ tin cậy. Sau đó, lớp định tuyến sẽ chuyển tiếp yêu cầu đến ứng viên phù hợp nhất. Trong ngữ cảnh này, “bộ định tuyến” là một thành phần quyết định suy luận, không phải là một bộ định tuyến mạng vật lý. Định tuyến giúp các hệ thống học máy đa mô hình cân bằng chất lượng dự đoán, việc sử dụng tài nguyên và độ trễ suy luận.

Cách thức hoạt động của định tuyến mô hình#

Một hệ thống định tuyến thường bao gồm một nhóm các mô hình đã được triển khai, logic quyết định và một giao diện ứng dụng chung. Ứng dụng gửi một yêu cầu, bộ định tuyến chọn một mô hình đủ điều kiện và lớp phục vụ mô hình trả về kết quả đầu ra của mô hình đó.

Các quyết định định tuyến có thể là:

• Dựa trên quy tắc: Chọn một mô hình bằng cách sử dụng siêu dữ liệu rõ ràng, chẳng hạn như định tuyến các hình ảnh yêu cầu mặt nạ đến một mô hình phân đoạn.
• Dựa trên điểm số: Ước tính chất lượng, chi phí hoặc thời gian phản hồi dự kiến của từng ứng viên và chọn tùy chọn có điểm số cao nhất.
• Dựa trên học máy: Sử dụng một bộ phân loại nhẹ hoặc mô hình định tuyến để suy ra ứng viên nào khớp nhất với đầu vào.
• Dựa trên tầng: Chạy một mô hình nhanh trước, sau đó chuyển các kết quả chưa chắc chắn hoặc có rủi ro cao lên một mô hình có năng lực hơn.

Ví dụ, định tuyến lời nhắc thông minh trên Amazon Bedrock dự đoán chất lượng phản hồi trước khi lựa chọn giữa các mô hình ngôn ngữ, trong khi hướng dẫn chiến lược định tuyến mô hình của Microsoft mô tả việc định tuyến dựa trên chi phí, chất lượng và sự cân bằng. Các nguyên tắc tương tự áp dụng cho thị giác máy tính: các yêu cầu có thể được định tuyến theo tác vụ, vị trí camera, độ phân giải hình ảnh hoặc độ chi tiết dự đoán được yêu cầu.

Các khái niệm liên quan và điểm khác biệt chính#

Định tuyến mô hình gắn kết chặt chẽ với các kỹ thuật đa mô hình khác, nhưng các thuật ngữ này không thể thay thế cho nhau.

• Cổng AI: Một cổng AI cung cấp một lớp kiểm soát rộng hơn cho việc xác thực, hạn mức, ghi nhật ký và quản lý lưu lượng truy cập. Việc lựa chọn mô hình có thể là một tính năng của cổng. Tiện ích mở rộng suy luận API cổng thông tin Kubernetes cũng phân biệt định tuyến nhận biết mô hình với việc lựa chọn điểm cuối và cân bằng tải.
• Tập hợp mô hình: Một tập hợp thông thường chạy nhiều mô hình và kết hợp các dự đoán của chúng. Một bộ định tuyến thường chọn một mô hình, giúp giảm thiểu tính toán. Thay vào đó, các mô hình tập hợp NVIDIA Triton xác định luồng dữ liệu cố định qua nhiều mô hình.
• Hỗ hợp chuyên gia: Kiến trúc hỗn hợp chuyên gia định tuyến các biểu diễn nội bộ đến các thành phần bên trong một mạng nơ-ron duy nhất. Định tuyến mô hình chọn giữa các mô hình hoặc điểm cuối có thể triển khai riêng biệt.
• Định tuyến tác nhân: Một bộ định tuyến tác nhân chọn một tác nhân, quy trình làm việc hoặc công cụ chuyên specialized. Định tuyến mô hình chọn mô hình nền tảng thực hiện một bước suy luận. Trong một hệ thống dựa trên tác nhân, cả hai hình thức định tuyến đều có thể xuất hiện.

Cân bằng tải là một điểm khác biệt quan trọng khác. Tính năng này phân phối các yêu cầu giữa các bản sao của cùng một dịch vụ để cải thiện tính khả dụng hoặc thông lượng. Định tuyến mô hình chọn giữa các mô hình có khả năng, chi phí hoặc đầu ra khác nhau.

Các ứng dụng trong thực tế#

Kiểm tra trực quan: Một hệ thống sản xuất có thể sử dụng phát hiện đối tượng để đếm các bộ phận thông thường nhưng định tuyến các lỗi bề mặt nghi ngờ đến phân đoạn thực thể để có ranh giới chính xác. Ultralytics YOLO26 hỗ trợ cả phát hiện đối tượng và phân đoạn thực thể, giúp việc định tuyến dựa trên tác vụ trở nên khả thi trong một API nhất quán. Điều này giúp tránh việc phải trả chi phí phân đoạn khi các hộp giới hạn là đủ.

Trợ lý AI: Trợ lý hỗ trợ có thể gửi các yêu cầu phân loại và tra cứu đơn giản đến một mô hình ngôn ngữ nhỏ, nhanh trong khi dành riêng một mô hình mạnh mẽ hơn cho lý luận phức tạp hoặc sử dụng công cụ. Hướng dẫn kiến trúc tác nhân của Google Cloud mô tả mô hình này như một cách để cân bằng chất lượng, độ trễ và chi phí. Không giống như một tầng cố định, định tuyến động có thể chọn mô hình mạnh mẽ hơn trước khi tạo ra câu trả lời ban đầu.

Triển khai và đánh giá bộ định tuyến#

Ví dụ tối thiểu này về Ultralytics định tuyến một hình ảnh đến phần phát hiện hoặc phần đoạn theo đầu ra được yêu cầu bởi một ứng dụng:

from ultralytics import YOLO

models = {
    "detect": YOLO("yolo26n.pt"),
    "segment": YOLO("yolo26n-seg.pt"),
}

requested_task = "segment"
source = "https://ultralytics.com/images/bus.jpg"

model = models.get(requested_task)
if model is None:
    raise ValueError(f"Unsupported task: {requested_task}")

results = model(source)
result = results[0]
result.save(filename=f"{requested_task}_result.jpg")

Quy tắc này cố tình rất đơn giản: các yêu cầu cần mặt nạ đối tượng sẽ đến phần phân đoạn, trong khi các yêu cầu chỉ cần hộp giới hạn có thể sử dụng phần phát hiện. Các bộ định tuyến sản xuất cũng có thể xem xét độ chính xác được đo lường, độ sâu hàng đợi, loại thiết bị, các ràng buộc về quyền riêng tư hoặc trạng thái sức khỏe của dịch vụ.

Đánh giá định tuyến trên lưu lượng truy cập đại diện thay vì chỉ dựa vào các mức trung bình của mô hình. Theo dõi phân phối tuyến đường, độ trễ từ đầu đến cuối, chi phí, lỗi và chất lượng ở cấp độ tác vụ cho từng mô hình được chọn. Hướng dẫn khả năng quan sát của OpenTelemetry giải thích cách các dấu vết, số liệu và nhật ký có thể theo dõi các yêu cầu cá nhân thông qua các dịch vụ phân tán. Theo dõi triển khai nền tảng Ultralytics tương tự cũng hỗ trợ kiểm tra độ trễ điểm cuối, lỗi, trạng thái sức khỏe và hoạt động yêu cầu.

Định tuyến sai có thể làm tăng chi phí, bỏ lỡ các mục tiêu độ trễ hoặc gửi các đầu vào khó khăn đến một mô hình không đủ năng lực. Do đó, các nhóm nên xác định hành vi dự phòng, hạn chế các mô hình đủ điều kiện cho khối lượng công việc nhạy cảm, ghi nhật ký tuyến đường đã chọn và định kỳ kiểm tra lại chính sách. Các biện pháp kiểm soát này giúp căn chỉnh các quyết định định tuyến với các thực tiễn rộng lớn hơn trong Khung quản lý rủi ro AI của NIST.