Computer Use Agents (CUAs)

计算机操控智能体（CUA）是能够像人一样操作计算机的AI 智能体：它们查看屏幕截图，决定要做什么，然后通过移动鼠标、单击、输入和滚动来执行操作。由于它们通过图形界面而非 API 工作，因此几乎可以使用任何桌面或 Web 应用，包括完全没有集成功能的旧软件。Anthropic 于 2024 年 10 月以公开测试版的形式为 Claude 3.5 Sonnet 发布了计算机操控功能。OpenAI 于 2025 年 1 月推出了 Operator，其底层模型名为 Computer-Using Agent，后来又将 Operator 整合进 ChatGPT agent。Google 于 2025 年 10 月发布了 Gemini 2.5 Computer Use 模型。

计算机操控智能体的工作原理#

CUA 会运行感知-行动循环。它的智能体运行框架会截取屏幕画面，并连同任务及此前的操作历史一起发送给视觉语言模型（VLM）。模型会返回一个动作及其像素坐标，例如在 (512, 384) 处左键单击或输入搜索词；运行框架会通过操作系统的输入 API 执行该动作，截取新的屏幕画面，然后重复整个过程。Anthropic 的文档建议桌面任务使用 1024 x 768 或 1280 x 720 的显示分辨率；如果运行框架在发送前缩小了屏幕截图，就会将模型给出的坐标按比例放大到真实屏幕尺寸。

这个循环中最难的一步是定位：将“打开三月份的发票”转化为正确行对应的精确像素位置。端到端模型会直接根据屏幕截图预测坐标。其他智能体会先通过目标检测和光学字符识别（OCR），将屏幕解析为带标签的元素列表，然后让大型语言模型（LLM）根据元素 ID 作出选择，从而将精确定位变成一道选择题。如果浏览器智能体能够访问网页的无障碍树或 DOM，也可以读取其中的内容；无法访问时，则退回到像素识别。

使用目标检测解析屏幕#

Microsoft 于 2024 年发布的 OmniParser 是这类屏幕解析器中最著名的一个。它会检测所有可点击的图标和文本字段，使用 Florence-2 模型为每个图标生成说明，让语言模型知道图标的功能，再通过 OCR 读取文本；在 ScreenSpot 基准测试中，解析后的结果提高了 GPT-4V 点击正确元素的准确率。它的可交互区域检测器是一个 Ultralytics YOLOv8模型，在热门网页的屏幕截图上微调而成，这些网页中可点击元素的边界框来自各网页的 DOM。对于布满小型无标签图标的屏幕，基于检测的解析方式很合适：快速的实时检测器可以一次找到所有目标，而 VLM 只需从中作出选择。

基准测试#

OSWorld于 2024 年 4 月推出，使用 Ubuntu、Windows 和 macOS 应用中的 369 项真实任务来测试智能体，任务涵盖编辑电子表格和更改系统设置等操作，并通过脚本检查每项任务的结果。推出时，人类完成了 72.36% 的任务，而最佳模型仅完成 12.24%。OpenAI 的 Computer-Using Agent 于 2025 年 1 月达到 38.1%，Claude Sonnet 4.5 于 2025 年 9 月达到 61.4%，Claude Sonnet 4.6 则在 2026 年 2 月的清理版 OSWorld-Verified 测试集上达到 72.5%，与原论文中人类的完成率相当。WebArena通过自托管的购物、论坛、代码托管和内容管理网站上的 812 项任务来评估浏览器智能体；与 OSWorld 一样，它会通过脚本检查最终状态来评估每项任务，这是智能体评估中的标准做法。

CUA 与相关方法的区别#

• 机器人流程自动化（RPA）：重放针对某种固定布局记录的单击和按键，因此按钮移位就会导致脚本失效。CUA 会读取当前屏幕并规划每一步，但速度较慢且有些不可预测。
• 函数调用和工具使用：通过结构化参数调用应用程序的 API；只要存在 API，这种方式就更快、更可靠。计算机操控则适用于没有 API 的软件。
• 大型动作模型（LAM）：专门训练用于输出软件界面操作的模型。许多 CUA 使用通用多模态模型，这些模型除了计算机操控之外，还接受了其他任务的训练。

应用与风险#

CUA 可以在旧系统中自动录入数据、根据文档填写 Web 表单、以用户的方式执行工作流来运行GUI 测试，以及跨没有 API 的网站收集信息。屏幕上的所有内容都会成为模型的输入，因此网页、电子邮件或文档都可能包含提示注入，指使智能体执行其他操作。提供商建议在智能体沙箱中运行 CUA，例如使用权限最少的专用虚拟机；让 CUA 远离存有敏感数据的已登录账户；对购买、发送消息和其他后果重大的操作要求确认。每当网站要求提供登录信息、付款信息或 CAPTCHA 时，Operator 都会将控制权交还给用户。