Large Action Models (LAM)

Model hành động lớn (LAM) là model AI được huấn luyện để chuyển yêu cầu thành chuỗi hành động mà phần mềm có thể thực thi, chẳng hạn như lệnh gọi API, thao tác nhấp và nhấn phím, thay vì câu trả lời dạng văn bản. Hầu hết LAM bắt đầu từ một mô hình ngôn ngữ lớn (LLM) và được fine-tune trên các quỹ đạo tác vụ đã ghi lại cho đến khi có thể chọn hành động tiếp theo, điền các tham số của hành động và khôi phục khi một bước thất bại một cách đáng tin cậy; nhờ đó, LAM trở thành lõi ra quyết định của một AI agent. Startup Rabbit phổ biến thuật ngữ này vào tháng 1 năm 2024, khi CEO Jesse Lyu ra mắt thiết bị cầm tay R1 và giới thiệu LAM của mình là model học cách vận hành ứng dụng bằng cách quan sát mọi người sử dụng. Hiện nay, các nhóm nghiên cứu dùng thuật ngữ này cho model được huấn luyện và đánh giá chuẩn về khả năng thực hiện hành động; nổi bật nhất là họ xLAM của Salesforce: năm model có quy mô từ 1 tỷ tham số đến hỗn hợp chuyên gia (MoE) 8x22B, được bài báo tháng 9 năm 2024 xếp đầu bảng Berkeley Function Calling Leaderboard, vượt GPT-4 và Claude 3.

Cách huấn luyện model hành động lớn#

Bài báo của Microsoft Large Action Models: From Inception to Implementation, xuất bản tháng 12 năm 2024, ghi lại toàn bộ quy trình tạo model vận hành Microsoft Word. Bắt đầu từ Mistral-7B, nhóm nghiên cứu huấn luyện model qua bốn giai đoạn: tiền huấn luyện lập kế hoạch tác vụ về cách chia yêu cầu thành các bước; học từ quỹ đạo chuyên gia được ghi lại bằng GPT-4o; tự tăng cường khám phá, trong đó model thử các tác vụ mà chuyên gia từng thất bại và giữ lại các lần chạy thành công của chính mình làm dữ liệu huấn luyện mới; và học tăng cường dựa trên model phần thưởng đã học. Chạy bên trong UFO, agent GUI Windows của Microsoft, model hoàn thiện thực hiện thành công 71,0% tác vụ Word trực tiếp trong thời gian trung bình 30,42 giây. Khi được cung cấp cùng mô tả bằng văn bản về các nút điều khiển trong cửa sổ, GPT-4o hoàn thành 63,0% tác vụ và mất 86,42 giây; model chỉ đạt tỷ lệ thành công cao hơn khi có thêm ảnh chụp màn hình, với thời gian 96,48 giây mỗi tác vụ.

Khi chạy, LAM lặp lại một chu trình cho đến khi hoàn tất tác vụ: đọc yêu cầu và trạng thái hiện tại, chọn hành động, để harness thực thi hành động rồi quan sát kết quả.

Thực hiện hành động qua API và giao diện#

Khi ứng dụng cung cấp API, model xuất ra lệnh gọi hàm: một thao tác được đặt tên cùng các tham số khớp với schema JSON, được harness của agent xác thực và thực thi. Khi phần mềm chỉ cung cấp giao diện đồ họa, model hoạt động như một agent điều khiển máy tính, chọn nút điều khiển từ cây trợ năng hoặc xác định vị trí nút trên ảnh chụp màn hình thông qua grounding, rồi nhấp và nhập văn bản. Hành động qua API nhanh hơn và dễ xác minh hơn, vì vậy agent ưu tiên dùng API ở nơi có sẵn và chuyển sang thao tác trên màn hình với phần mềm cũ. Thị giác trở thành một hành động API nữa: model YOLO26 được triển khai trên endpoint chuyên dụng của Ultralytics Platform nhận một yêu cầu POST chứa tệp ảnh hoặc URL và trả về kết quả phát hiện vật thể dưới dạng JSON, cùng kiểu đầu ra có cấu trúc mà model đọc lại từ bất kỳ công cụ nào khác.

LAM và các thuật ngữ liên quan#

• LLM: Model được huấn luyện để tạo văn bản. LAM thường là LLM được huấn luyện bổ sung để đầu ra trở thành hành động có thể thực thi; ranh giới giữa hai loại ngày càng mờ khi các model tổng quát có thêm khả năng gọi hàm và điều khiển máy tính.
• AI agent: Hệ thống hoàn chỉnh gồm model, harness, công cụ, bộ nhớ và quyền hạn, thường được xây dựng dưới dạng workflow agentic. LAM là model bên trong hệ thống đó, quyết định từng hành động.
• RAG agentic: Dùng lệnh gọi công cụ để tìm kiếm và thu thập thông tin trước khi trả lời câu hỏi. Hành động của LAM làm thay đổi trạng thái hệ thống, chẳng hạn như gửi email, chỉnh sửa tài liệu hoặc nộp biểu mẫu.
• Model thị giác-ngôn ngữ-hành động (VLA): Phiên bản tương ứng trong robotics của AI hiện thân, ánh xạ ảnh từ camera và chỉ dẫn thành lệnh vận động, chẳng hạn như Gemini Robotics. RT-2 của Google DeepMind, phát hành tháng 7 năm 2023, minh họa phương pháp này bằng cách fine-tune một model thị giác-ngôn ngữ để xuất hành động robot dưới dạng token văn bản.