AI Agent Orchestration

Điều phối tác tử AI là lớp phối hợp của một hệ thống gồm nhiều tác tử AI, model và công cụ. Lớp này quyết định thành phần nào xử lý từng phần của tác vụ, mỗi thành phần nhận ngữ cảnh nào, chúng chạy theo thứ tự nào, bàn giao công việc cho nhau ra sao, cũng như cách kết hợp và kiểm tra kết quả. Bộ điều phối có thể là mã thông thường với luồng điều khiển cố định, một LLM lập kế hoạch và phân công trong lúc chạy, hoặc kết hợp cả hai. Điều phối biến một nhóm chuyên gia, chẳng hạn tác tử tìm kiếm, tác tử lập trình và model thị giác máy tính, thành một hệ thống có thể hoàn thành những tác vụ mà một lần gọi mô hình ngôn ngữ lớn (LLM) đơn lẻ không thể xử lý.

Lớp điều phối thực hiện những gì#

• Định tuyến: Gửi mỗi tác vụ con đến tác tử hoặc model phù hợp nhất, thường dùng model nhỏ, nhanh cho bước đơn giản và model tiên tiến nhất cho bước khó.
• Quản lý ngữ cảnh: Chỉ cung cấp cho mỗi tác tử những chỉ dẫn, tệp và kết quả trước đó cần thiết. Các tác tử con hoạt động trong cửa sổ ngữ cảnh riêng có thể khảo sát chuyên sâu rồi trả về bản tóm tắt ngắn, thay vì chiếm đầy ngữ cảnh của tác tử điều phối chính.
• Bàn giao có cấu trúc: Chuyển kết quả giữa các tác tử dưới dạng dữ liệu đã xác thực, chẳng hạn JSON theo schema cố định, để bước tiếp theo có thể dựa vào đúng định dạng đó.
• Xử lý lỗi: Thử lại các bước thất bại, áp dụng giới hạn thời gian và ngân sách, đồng thời tạm dừng để chờ con người phê duyệt trước khi thực hiện hành động có hệ quả đáng kể.
• Khả năng quan sát: Ghi lại trace của mọi lần gọi, kết quả công cụ và quyết định để có thể tìm ra và phát lại các lỗi.

Các mô hình điều phối phổ biến#

Hầu hết hệ thống kết hợp một vài mô hình điều phối thường gặp:

• Pipeline tuần tự: Mỗi tác tử xử lý đầu ra của tác tử trước theo thứ tự cố định, chẳng hạn soạn thảo, rà soát rồi dịch.
• Phân nhánh đồng thời: Nhiều tác tử xử lý cùng một đầu vào song song, sau đó bộ tổng hợp gộp kết quả hoặc chọn kết quả theo biểu quyết.
• Bộ điều phối và các tác tử thực thi: Tác tử điều phối chính chia tác vụ thành các tác vụ con trong lúc chạy, giao chúng cho các tác tử thực thi rồi tổng hợp kết quả trả về. Mô hình phân cấp này phù hợp với tác vụ mở, không thể liệt kê trước các bước cần thực hiện.
• Chuyển giao: Một agent chuyển toàn bộ cuộc hội thoại cho chuyên gia phù hợp hơn, chẳng hạn agent phân loại chuyển câu hỏi về thanh toán cho agent thanh toán.
• Trò chuyện nhóm và tranh luận: Các agent lần lượt đóng góp trong một chuỗi hội thoại chung, phản biện và phát triển ý tưởng dựa trên đóng góp của nhau dưới sự điều phối của người kiểm duyệt.
• Bộ đánh giá-tối ưu hóa: Một agent tạo ra kết quả, agent khác chấm điểm kết quả theo các tiêu chí, rồi lặp lại cho đến khi kết quả đạt yêu cầu.

Các framework như LangGraph, OpenAI Agents SDK, Agent Development Kit của Google và Agent Framework của Microsoft—framework kế nhiệm AutoGen và Semantic Kernel—triển khai các mẫu này dưới dạng đồ thị gồm các agent và công cụ có trạng thái chung. Hai giao thức mở kết nối các thành phần: Giao thức Ngữ cảnh Mô hình (MCP) kết nối agent với công cụ và dữ liệu, còn giao thức Agent2Agent (A2A) cho phép các agent do những nhà cung cấp khác nhau xây dựng ủy thác tác vụ cho nhau.

Điều phối và các thuật ngữ liên quan#

• Quy trình làm việc agentic: Một quy trình làm việc là chuỗi được xác định trước gồm các lệnh gọi LLM và công cụ. Điều phối là hoạt động phối hợp rộng hơn giữa nhiều agent và quy trình làm việc, có thể được điều khiển bằng code hoặc bằng LLM lập kế hoạch trong thời gian chạy.
• Hỗn hợp Agent (MoA): Một mẫu xử lý đồng thời cụ thể, trong đó một số model trả lời cùng một prompt và một model tổng hợp tạo ra câu trả lời duy nhất được cải thiện. Hoạt động điều phối nói chung thường giao các tác vụ con khác nhau cho những agent khác nhau.
• Hệ thống AI hợp thành: Thuật ngữ bao quát các hệ thống kết hợp model, bộ truy xuất và công cụ. Điều phối là logic điều khiển bên trong hệ thống đó.
• Kubernetes và điều phối container: Lên lịch và mở rộng quy mô container trên nhiều máy. Điều phối agent quản lý các bước suy luận và sử dụng công cụ; các nền tảng agent thường chạy trên nền tảng điều phối container.

Điều phối model thị giác#

Các hệ thống thị giác áp dụng những mẫu tương tự với model làm tác vụ viên: một bộ phát hiện đối tượng nhanh chạy trên mọi ảnh và quyết định ảnh nào cần chuyển cho chuyên gia chậm hơn. Ultralytics Platform Agents giúp xây dựng trực quan các quy trình làm việc này, kết nối một khối YOLO26 với các khối Gate để kiểm tra số lượng phát hiện hoặc khoảng độ tin cậy, rồi kết nối với các khối model thị giác-ngôn ngữ, dataset, Slack và webhook, nhờ đó quy trình làm việc “YOLO → VLM Monitor” yêu cầu VLM mô tả cảnh chỉ khi YOLO phát hiện người. Cách định tuyến tương tự trong Python chỉ gửi ảnh đến worker ước lượng tư thế khi bộ phát hiện tìm thấy người:

from ultralytics import YOLO

# Worker models: a general detector and a pose specialist
detector = YOLO("yolo26n.pt")
pose_worker = YOLO("yolo26n-pose.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Orchestrator step 1: run the detector and read its findings
detections = detector(image)[0]
people = int((detections.boxes.cls == 0).sum())

# Orchestrator step 2: route to the pose worker only when people are present
if people:
    poses = pose_worker(image)[0]
    print(f"{people} people detected, {len(poses.keypoints)} poses estimated")
else:
    print("No people detected, pose worker skipped")

Kết quả của bộ phát hiện quyết định liệu model thứ hai có chạy hay không; nhờ vậy, các pipeline có điều kiện tránh chạy model tốn kém trên những ảnh không cần đến chúng.

Ứng dụng thực tế#

• Sản xuất: Khi cảm biến phát cảnh báo, bộ điều phối gửi các khung hình camera đến agent kiểm tra lỗi và yêu cầu agent LLM tìm kiếm nhật ký bảo trì, sau đó kết hợp cả hai phát hiện thành phiếu sửa chữa.
• Xử lý tài liệu: Các trang được quét sẽ chuyển đến worker phát hiện đối tượng và OCR để trích xuất bảng và trường dữ liệu; model suy luận đối chiếu các giá trị đã trích xuất với chính sách, còn các trang có độ tin cậy thấp được chuyển cho người kiểm duyệt.
• Lập trình agentic: Một agent lập trình tạo các agent con để tìm kiếm codebase, chạy kiểm thử và xem xét diff, nhờ đó giữ phần ngữ cảnh của nó dành cho thay đổi chính.
• Dịch vụ khách hàng: Agent phân loại xác định yêu cầu và chuyển tiếp yêu cầu đó cho agent thanh toán, kỹ thuật hoặc hoàn trả có sẵn công cụ và quyền phù hợp.

Chi phí và các dạng lỗi#

Điều phối giúp tăng năng lực nhưng tiêu tốn token và làm tăng độ phức tạp. Trong hệ thống nghiên cứu đa agent của Anthropic, một agent chính Claude Opus 4 điều phối các agent con Claude Sonnet 4 đạt kết quả cao hơn 90.2% so với một agent Claude Opus 4 đơn lẻ trong một đánh giá nghiên cứu nội bộ; tuy nhiên, các lượt chạy đa agent sử dụng số token gấp khoảng 15 lần so với tương tác trò chuyện, nên mẫu này chủ yếu hữu ích với các tác vụ rộng có thể chia thành nhiều phần chạy song song. Việc phối hợp cũng tạo ra những dạng lỗi mới: các agent có thể hiểu sai hướng dẫn, không chia sẻ thông tin với nhau hoặc dừng lại trước khi tác vụ được kiểm tra. Một nghiên cứu về lý do hệ thống LLM đa agent thất bại đã phân loại hơn 1.600 dấu vết được gắn nhãn từ bảy framework thành 14 dạng lỗi, thuộc ba nhóm: vấn đề thiết kế hệ thống, lệch pha giữa các agent và xác minh tác vụ.