Compound AI Systems

Compound AI systems là các ứng dụng AI được xây dựng từ nhiều thành phần tương tác thay vì chỉ một model đơn lẻ. Một hệ thống có thể kết hợp các model, dịch vụ truy xuất, cơ sở dữ liệu, quy tắc tất định, công cụ bên ngoài và đánh giá của con người vào một quy trình làm việc phối hợp duy nhất. Ví dụ, trong thị giác máy tính, một model có thể phát hiện đối tượng trong khi phần mềm tracking duy trì định danh, các quy tắc kinh doanh diễn giải sự kiện và các dịch vụ giám sát quan sát hiệu suất production. Đặc tính xác định là tính thành phần: hành vi cấp hệ thống xuất hiện từ cách các bộ phận trao đổi thông tin và đưa ra quyết định.

Cách Compound AI Systems Hoạt Động#

Một hệ thống compound chia một tác vụ lớn thành các giai đoạn chuyên biệt. Các thành phần điển hình bao gồm tiền xử lý dữ liệu, một hoặc nhiều model AI, lưu trữ, logic xác thực, application programming interfaces và một lớp điều phối. Các giao ước rõ ràng, chẳng hạn như những giao ước được mô tả bởi OpenAPI Specification, xác định dữ liệu mà mỗi dịch vụ chấp nhận và trả về.

Quá trình kiểm soát có thể mang tính tất định, với mã thông thường gọi các thành phần theo một trình tự cố định, hoặc mang tính động, với lớp AI agent orchestration chọn các công cụ và tuyến đường tại thời gian chạy. AI orchestration điều phối các phần phụ thuộc, thao tác thử lại, tài nguyên và luồng dữ liệu xuyên suốt ứng dụng.

Các mẫu phổ biến bao gồm retrieval-augmented generation, nơi việc truy xuất cung cấp ngữ cảnh cho một language model, và các pipeline kết hợp cảm biến kết hợp camera, radar hoặc các đầu vào khác. Sự chuyển dịch rộng lớn hơn từ các model cô lập sang các hệ thống tích hợp được mô tả trong Berkeley AI Research overview of compound AI systems. (bair.berkeley.edu)

Lý Do Compound Systems Quan Trọng#

Tính thành phần cho phép các lập trình viên cải thiện một ứng dụng mà không cần huấn luyện lại một model khổng lồ duy nhất. Một thành phần chuyên biệt có thể được thay thế, scale hoặc tối ưu hóa trong khi phần còn lại của quy trình làm việc vẫn ổn định. Các giai đoạn quy tắc và xác thực cũng có thể cung cấp khả năng kiểm soát tốt hơn so với việc phụ thuộc hoàn toàn vào đầu ra của model xác suất.

Những lợi ích này mang lại sự đánh đổi ở cấp độ hệ thống:

• Sự lan truyền lỗi: Một phát hiện không chính xác, truy xuất thất bại hoặc API không khả dụng có thể ảnh hưởng đến mọi quyết định hạ nguồn.
• Độ trễ và chi phí: Mỗi lần gọi model, yêu cầu mạng và giai đoạn xác minh đều tiêu thụ một phần ngân sách phản hồi tổng thể.
• Sự trôi dạt giao diện: Việc cập nhật một dịch vụ có thể thay đổi định dạng đầu ra hoặc các giả định của dịch vụ đó và âm thầm làm hỏng một thành phần khác.
• Đánh giá khó khăn: Một thành phần mạnh mẽ không đảm bảo một kết quả đầu cuối mạnh mẽ.

Do đó, machine learning operations phải bao phủ toàn bộ quy trình làm việc. OpenTelemetry observability guidance giải thích cách các dấu vết, số liệu và log tiết lộ những gì đã xảy ra trên các dịch vụ phân tán, trong khi MLflow experiment tracking có thể ghi lại cấu hình model và kết quả đánh giá. (opentelemetry.io)

Các Khái Niệm Liên Quan và Khác Biệt Chính#

Một compound AI system không đơn thuần là một tên gọi khác của một model phức tạp.

Một model ensemble kết hợp các dự đoán từ nhiều model, thường thông qua bỏ phiếu, tính trung bình hoặc stacking. Một ensemble có thể là một thành phần bên trong một hệ thống compound, nhưng nó thường thiếu cơ sở dữ liệu, công cụ, logic quy trình làm việc và các dịch vụ vận hành.

Một agentic workflow cho phép các model tự động chọn các hành động hoặc công cụ. Các hệ thống compound mang tính rộng hơn: nhiều hệ thống sử dụng các pipeline cố định, các dịch vụ hướng sự kiện hoặc sự phê duyệt của con người mà không cần các agent tự động.

Tương tự như vậy, RAG là một mẫu compound cụ thể liên quan đến việc truy xuất và tạo sinh. Compound AI cũng có thể điều phối thị giác máy tính, dự báo, tối ưu hóa, robot học và phần mềm thông thường mà không cần sử dụng language model.

Các ứng dụng trong thực tế#

• Manufacturing visual inspection: Một camera chụp lại sản phẩm, một Ultralytics YOLO26 model phát hiện lỗi, logic dựa trên quy tắc kiểm tra mức độ nghiêm trọng và vị trí, và một production system từ chối hoặc phê duyệt từng mặt hàng. Các trường hợp không chắc chắn có thể được chuyển đến thanh tra viên là con người, trong khi các hình ảnh được lưu trữ hỗ trợ việc huấn luyện lại sau này.

• Traffic and parking analytics: Việc phát hiện xác định các phương tiện, multi-object tracking duy trì định danh qua các khung hình, logic hình học xác định mức độ chiếm dụng của làn đường hoặc khu vực đỗ xe, và các bảng điều khiển tổng hợp số lượng và cảnh báo. Các lỗi có thể gây ra việc đếm trùng lặp, bỏ lỡ các sự kiện tắc nghẽn hoặc ước tính tính sẵn 1s không chính xác, vì vậy mọi giai đoạn phải được kiểm tra cùng nhau.

Ví dụ đơn giản hóa sau đây cho thấy nhận thức cung cấp dữ liệu cho logic quyết định tất định:

from ultralytics import YOLO

# Perception component
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Policy component
person_class = next(i for i, name in result.names.items() if name == "person")
person_count = int((result.boxes.cls == person_class).sum())
decision = "review" if person_count >= 4 else "continue"

print({"people_detected": person_count, "next_step": decision})
result.save(filename="compound_system_input.jpg")

Ở đây, YOLO tạo ra các quan sát có cấu trúc, trong khi logic chính sách riêng biệt xác định hành động tiếp theo. Một production system có thể bổ sung thêm dung lượng lưu trữ, thông báo, kiểm soát truy cập hoặc đánh giá của con người.

Hướng Dẫn Thiết Kế Thực Tiễn#

Bắt đầu với một mục tiêu đầu cuối có thể đo lường được, sau đó giao cho mỗi thành phần một trách nhiệm rõ ràng. Xác định các schema và thời gian chờ tại mọi ranh giới, kiểm tra các thành phần một cách độc lập và đánh giá các quy trình làm việc thực tế thay vì chỉ đánh giá độ chính xác của model.

Sử dụng các dấu vết để theo dõi các yêu cầu riêng lẻ, thiết lập ngân sách độ trễ và chi phí, đồng thời cung cấp các cơ chế thử lại hoặc dự phòng an toàn cho các dịch vụ không khả dụng. Kubernetes health probes minh họa cách các dịch vụ đã được triển khai có thể phơi bày các tín hiệu sẵn sàng và sống sót.

Các biện pháp kiểm soát rủi ro nên giải quyết toàn bộ hệ thống, bao gồm quyền truy cập dữ liệu, công cụ bên ngoài, các lệnh ghi đè của con người và các hệ quả hạ nguồn. NIST AI Risk Management Framework cung cấp hướng dẫn định hướng vòng đời để quản trị, đo lường và quản lý các rủi ro này. Các nhóm có thể sử dụng Ultralytics Platform để kết nối việc gán nhãn dataset, huấn luyện, triển khai và giám sát production cho các thành phần thị giác trong một ứng dụng compound rộng lớn hơn. (nist.gov)