Compound AI Systems

Hệ thống AI hợp thành là một ứng dụng giải quyết tác vụ bằng nhiều thành phần tương tác với nhau, chẳng hạn nhiều lần gọi model, retriever, công cụ bên ngoài, quy tắc và bước con người rà soát, thay vì chỉ gọi một model duy nhất. Matei Zaharia cùng các đồng tác giả từ Berkeley, Stanford, Databricks và những nhóm khác đã nêu tên xu hướng này trong một bài đăng của Berkeley AI Research vào tháng 2 năm 2024, cho rằng các kết quả tiên tiến ngày càng đến từ hệ thống thay vì model nguyên khối. Các ví dụ của họ gồm AlphaCode 2, tạo đến một triệu chương trình ứng viên bằng mô hình ngôn ngữ lớn (LLM), sau đó lọc và chấm điểm; AlphaGeometry, kết hợp một LLM với bộ máy suy diễn symbolic để giải các bài hình học Olympic; và ChatGPT, trong đó model quyết định khi nào cần duyệt web, chạy Python hoặc tạo ảnh. Bài đăng cũng dẫn dữ liệu Databricks cho thấy 60% ứng dụng LLM sử dụng một dạng tạo sinh tăng cường truy xuất (RAG) và 30% sử dụng chuỗi nhiều bước.

Vì sao xây dựng hệ thống thay vì model lớn hơn#

• Cải thiện chất lượng với chi phí thấp hơn: Lấy mẫu, bỏ phiếu và xác minh có thể nâng độ chính xác với chi phí thấp hơn so với huấn luyện một model lớn hơn. Google báo cáo Gemini Ultra đạt 90.04% trên benchmark MMLU với CoT@32; phương pháp này lấy mẫu 32 câu trả lời chuỗi suy luận và chọn câu trả lời chiếm đa số khi đủ số câu đồng thuận, so với 86.4% của GPT-4 khi dùng prompt five-shot.
• Dữ liệu hiện hành: Kiến thức của model dừng ở mốc dữ liệu huấn luyện, còn retriever hoặc cơ sở dữ liệu vector cung cấp thông tin mới, riêng tư hoặc được kiểm soát quyền truy cập tại thời điểm truy vấn.
• Khả năng kiểm soát và độ tin cậy: Bộ lọc, guardrail AI, trích dẫn và các bước xác minh giúp giới hạn hành vi dễ dàng hơn so với việc chỉ prompt một model rồi hy vọng model tuân thủ.
• Mục tiêu chi phí: Định tuyến model chuyển yêu cầu đơn giản đến model nhỏ và yêu cầu phức tạp đến model lớn, nhờ đó mỗi ứng dụng có thể tự chọn sự đánh đổi giữa chất lượng, độ trễ và chi phí.

Một luồng xử lý yêu cầu duy nhất có thể kết hợp cả bốn ý tưởng:

Hệ thống hợp thành trong thị giác máy tính#

Các ứng dụng thị giác trong môi trường production hầu như mặc định là hệ thống hợp thành: detector tìm đối tượng, tracker liên kết đối tượng qua các frame, quy tắc hình học chuyển vị trí thành sự kiện, còn hệ thống lưu trữ và cảnh báo xử lý các sự kiện đó. Ultralytics Solutions đóng gói một số hệ thống như vậy dựa trên model YOLO26: đếm đối tượng kết hợp phát hiện, theo dõi nhiều đối tượng và phép kiểm tra đường hoặc vùng để đếm mỗi track ID một lần khi đối tượng đi vào hoặc rời khỏi; hệ thống báo động an ninh gửi email kèm frame khi số lượt phát hiện trong khung hình đạt ngưỡng đặt trước. Các pipeline nhỏ hơn cũng theo cùng mô hình, trong đó model tạo ra quan sát có cấu trúc để logic riêng xử lý:

from ultralytics import YOLO

# Thành phần tri giác: detector chuyển pixel thành các quan sát có cấu trúc
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
detections = results[0].summary()

# Thành phần chính sách: quy tắc tất định chấp nhận các lượt phát hiện có độ tin cậy cao và đánh dấu các trường hợp chưa chắc chắn
accepted = [d["name"] for d in detections if d["confidence"] >= 0.5]
uncertain = [d["name"] for d in detections if d["confidence"] < 0.5]

# Thành phần định tuyến: kết quả chưa chắc chắn được chuyển cho người xử lý thay vì đưa vào tự động hóa ở bước sau
action = "human review" if uncertain else "auto-approve"
print({"accepted": accepted, "uncertain": uncertain, "action": action})

Quyết định được in ra dựa trên các quy tắc mà người rà soát có thể đọc và thay đổi mà không cần huấn luyện lại model; việc gán nhãn các ảnh chưa chắc chắn được chuyển cho người xử lý sẽ bổ sung dữ liệu huấn luyện cho model tiếp theo trong vòng lặp học chủ động.

Xây dựng và vận hành hệ thống hợp thành#

Sai số tích lũy qua các thành phần: ba giai đoạn mỗi giai đoạn đúng 90% thời gian chỉ tạo ra kết quả đầu cuối chính xác khoảng 73%, vì vậy các nhóm đo lường toàn bộ hệ thống trên một bộ tác vụ cố định thay vì chỉ đánh giá riêng từng phần. Những thành phần không thể huấn luyện bằng gradient, chẳng hạn công cụ tìm kiếm và quy tắc, cần các bộ tối ưu khác; framework như DSPy tinh chỉnh mọi prompt trong pipeline dựa trên một metric đầu cuối duy nhất. Trong môi trường production, trace khả năng quan sát theo dõi từng yêu cầu qua mọi lần gọi model và công cụ; các thực hành vận hành học máy (MLOps) như quản lý phiên bản và giám sát model áp dụng cho mọi thành phần, bởi bản cập nhật của một thành phần có thể âm thầm thay đổi đầu vào của thành phần tiếp theo.

AI hợp thành và các thuật ngữ liên quan#

• Ensemble model: Kết hợp dự đoán của nhiều model trên cùng một đầu vào thành một đầu ra; ensemble là một kiểu cấu trúc mà hệ thống hợp thành có thể bao gồm.
• Workflow theo hướng agent: Hệ thống hợp thành trong đó model quyết định luồng điều khiển khi chạy, chọn công cụ và các bước xử lý. Nhiều hệ thống hợp thành sử dụng pipeline cố định, không có các quyết định như vậy.
• Hỗn hợp chuyên gia (MoE): Định tuyến token giữa các mạng con chuyên gia bên trong một model duy nhất, với các thành phần được huấn luyện cùng nhau. Hệ thống hợp thành định tuyến yêu cầu giữa các thành phần được xây dựng và triển khai riêng biệt.