Mixture of Agents (MoA)

Mixture of Agents (MoA) là kỹ thuật tại thời điểm suy luận, trong đó một số mô hình ngôn ngữ lớn (LLM) trả lời cùng một prompt, rồi một hoặc nhiều model tổng hợp đọc tất cả câu trả lời đó và tạo ra một câu trả lời duy nhất, được cải thiện. Junlin Wang và các đồng nghiệp tại Together AI giới thiệu kỹ thuật này trong bài báo năm 2024 Mixture-of-Agents Enhances Large Language Model Capabilities. Kỹ thuật này dựa trên một hiệu ứng mà các tác giả gọi là tính cộng tác: LLM có xu hướng tạo câu trả lời tốt hơn khi có thể xem câu trả lời của các model khác cho cùng câu hỏi, ngay cả khi các model đó yếu hơn nó. MoA không cần huấn luyện hay fine-tune, chỉ cần các lệnh gọi API và prompt, nên có thể kết hợp model từ nhiều nhà cung cấp.

Cách Mixture of Agents hoạt động#

MoA sắp xếp các model thành nhiều lớp. Ở lớp đầu tiên, một số model đề xuất trả lời prompt độc lập với nhau. Mỗi lớp tiếp theo nhận prompt gốc cùng với mọi câu trả lời từ lớp trước, thông qua prompt tổng hợp và chắt lọc, yêu cầu model đánh giá nghiêm túc các câu trả lời đó, nhận biết rằng một số câu có thể thiên lệch hoặc sai, rồi viết một câu trả lời đã được tinh chỉnh. Lớp cuối cùng gồm một model tổng hợp duy nhất, đầu ra của model này là câu trả lời của hệ thống. Model có năng lực khác nhau trong các vai trò này: trong thí nghiệm của bài báo, WizardLM tạo đề xuất xuất sắc nhưng tổng hợp kém, còn GPT-4o và Qwen1.5 hoạt động tốt ở cả hai vai trò.

Cấu hình chính của bài báo sử dụng ba lớp gồm sáu model mã nguồn mở: Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, Llama-3-70B-Instruct, Mixtral-8x22B và DBRX-Instruct; Qwen1.5-110B-Chat là model tổng hợp cuối cùng. Cấu hình này đạt tỷ lệ thắng 65.1% có điều chỉnh theo độ dài trên AlpacaEval 2.0, một benchmark đánh giá khả năng làm theo hướng dẫn, cao hơn mức 57.5% của GPT-4o vào thời điểm đó; biến thể MoA-Lite hai lớp tiết kiệm chi phí hơn, dùng Qwen1.5-72B-Chat làm model tổng hợp, đạt 59.3%. Các tác giả đã công bố bản triển khai tham chiếu của phương pháp này.

Mixture of Agents và các kỹ thuật liên quan#

• Mixture of Experts (MoE): Kiến trúc bên trong một mạng nơ-ron duy nhất, trong đó router được học sẽ kích hoạt một số lớp con chuyên gia cho mỗi token và tất cả chuyên gia được huấn luyện cùng nhau. MoA kết hợp các model riêng biệt, hoàn chỉnh tại thời điểm suy luận thông qua prompt.
• Tổ hợp model: Một tổ hợp lấy trung bình hoặc bỏ phiếu dựa trên dự đoán của các thành viên. Model tổng hợp của MoA tạo văn bản mới dựa trên tất cả phương án, nhờ đó có thể kết hợp những phần đúng trong các câu trả lời mà mỗi câu đều có một phần sai.
• Định tuyến model: Router gửi mỗi truy vấn đến model có khả năng trả lời tốt nhất với chi phí thấp nhất. MoA gửi mỗi prompt đến nhiều model.
• Tranh luận AI: Trong tranh luận đa agent, các model đọc câu trả lời của nhau rồi sửa đổi câu trả lời của chính mình qua nhiều vòng. MoA truyền thông tin qua các lớp và kết thúc bằng một model tổng hợp duy nhất.
• Điều phối agent AI: Cơ chế điều phối phối hợp các agent thường xử lý những tác vụ con khác nhau. MoA là một kiểu xử lý đồng thời trong cơ chế này, với mọi model cùng làm việc trên một prompt.

Ứng dụng thực tế#

• Tạo văn bản: Việc tổng hợp nhiều bản nháp mang lại lợi ích lớn nhất cho các tác vụ viết mở, phân tích và làm theo hướng dẫn—những tác vụ mà AlpacaEval đo lường.
• Lập trình agentic: Một số model đề xuất giải pháp cho cùng một bài toán lập trình, rồi model tổng hợp kết hợp những ý tưởng tốt nhất; unit test quyết định giữa các đề xuất mâu thuẫn.
• Tạo dữ liệu tổng hợp: Các nhóm dùng đầu ra MoA làm mục tiêu chất lượng cao để huấn luyện model nhỏ hơn, trong đó chi phí suy luận bổ sung chỉ phát sinh một lần.

Cùng một kiểu kết hợp này có thể mở rộng sang AI đa phương thức, trong đó một số model thị giác-ngôn ngữ mô tả cùng một ảnh và model tổng hợp dung hòa các mô tả. Giao diện LLM của Ultralytics gọi OpenAI và các nhà cung cấp tương thích với OpenAI như DeepSeek, Kimi, Z.AI và OpenRouter thông qua cùng lớp LLM(), vì vậy một script có thể gửi ảnh đến một số model đề xuất rồi chuyển câu trả lời của chúng cho model tổng hợp.

Ưu điểm và hạn chế#

MoA đánh đổi compute để lấy chất lượng. Cấu hình chính thực hiện hơn một tá lệnh gọi model cho mỗi prompt; do model tổng hợp không thể tạo token đầu tiên cho đến khi lớp cuối cùng hoàn tất, bài báo ghi nhận thời gian đến token đầu tiên cao, gây bất lợi cho tương tác. Vì vậy, độ trễ suy luận và chi phí giới hạn MoA ở những tác vụ mà chất lượng câu trả lời quan trọng hơn tốc độ.

Việc kết hợp các model khác nhau cũng không quan trọng như tưởng tượng ban đầu, vì thêm các model đề xuất yếu hơn làm giảm chất lượng trung bình của nội dung mà model tổng hợp đọc. Nghiên cứu Self-MoA của Wenzhe Li và các đồng nghiệp cho thấy việc tổng hợp một số đầu ra được lấy mẫu chỉ từ model tốt nhất duy nhất vượt hỗn hợp LLM khác nhau tiêu chuẩn 6.6% trên AlpacaEval 2.0 và trung bình 3.8% trên các benchmark gồm MMLU, CRUX và MATH.