Large Action Models (LAM)

大型动作模型（LAM）是一种 AI 模型，经过训练后能将请求转换为软件可执行的一系列动作，例如 API 调用、点击和按键操作，而不是文本回答。大多数 LAM 都以大型语言模型（LLM）为基础，并在记录的任务轨迹上进行微调，直到模型能够可靠地选择下一步动作、填写参数，并在步骤失败时恢复；因此，LAM 成为AI 智能体的决策核心。初创公司 Rabbit 于 2024 年 1 月让这个术语广为人知，当时 CEO Jesse Lyu 发布了 R1 手持设备，并将其 LAM 描述为一种通过观察人们使用应用来学习操作应用的模型。如今，研究团队会用这个名称指代在执行动作方面经过训练和基准测试的模型，其中最著名的是 Salesforce 的 xLAM 系列：该系列包含五个模型，参数量从 10 亿到 8x22B 不等，后者采用混合专家模型（MoE）。其 2024 年 9 月发布的论文称，该系列在 Berkeley Function Calling Leaderboard 上名列第一，超过了 GPT-4 和 Claude 3。

大型动作模型如何训练#

Microsoft 于 2024 年 12 月发表的论文《大型动作模型：从构想到实现》记录了一个操作 Microsoft Word 的模型的完整开发流程。团队从 Mistral-7B 出发，分四个阶段训练模型：任务规划预训练，学习如何将请求拆解为步骤；利用 GPT-4o 记录的专家轨迹进行学习；自我增强式探索，即让模型尝试专家未能完成的任务，并将自己的成功运行记录为新的训练数据；以及针对学得的奖励模型进行强化学习。最终模型在 Microsoft 的 Windows GUI 智能体 UFO 中运行，完成实时 Word 任务的成功率为 71.0%，平均耗时 30.42 秒。向 GPT-4o 提供相同的窗口控件文本描述时，它完成任务的成功率为 63.0%，耗时 86.42 秒；只有添加屏幕截图后，它的成功率才更高，但每项任务需要 96.48 秒。

运行时，LAM 会重复一个循环，直到任务完成：读取请求和当前状态、选择动作、让运行框架执行动作，然后观察结果。

通过 API 和界面执行操作#

如果应用提供 API，模型就会输出函数调用：包含参数的命名操作，参数需符合 JSON 架构；随后，智能体运行框架会验证并执行该操作。如果软件只有图形界面，模型的工作方式就类似计算机操作智能体：它会从无障碍树中选择控件，或通过定位在屏幕截图中找到控件，然后点击并输入。API 操作速度更快，也更容易验证，因此智能体会尽可能使用 API，并在操作旧版软件时改用屏幕。视觉能力也可以作为另一项 API 操作：YOLO26 模型部署到 Ultralytics Platform 专用端点后，只需发送一个携带图像文件或 URL 的 POST 请求，就会以 JSON 返回物体检测结果；这与模型从其他工具读取的结构化输出相同。

LAM 与相关术语的比较#

• LLM： 一种经过训练、用于生成文本的模型。LAM 通常是经过进一步训练、能够输出可执行动作的 LLM；随着通用模型逐渐具备函数调用和计算机操作能力，两者之间的界限也越来越模糊。
• AI 智能体： 由模型、运行框架、工具、记忆和权限组成的完整系统，通常以智能体工作流的形式构建。LAM 是其中负责决定每个动作的模型。
• 智能体式 RAG：在回答问题前，通过工具调用来搜索和收集信息。LAM 执行的动作会改变系统状态，例如发送电子邮件、编辑文档或提交表单。
• 视觉-语言-动作（VLA）模型： 这是具身 AI领域中与机器人技术对应的模型，将相机图像和指令映射为运动命令，例如 Gemini Robotics。Google DeepMind 于 2023 年 7 月发布的 RT-2 展示了这一方法：通过微调视觉语言模型，让模型以文本 token 的形式输出机器人动作。