Computer Use Agents (CUAs)

计算机使用智能体 (CUA) 代表了人工智能系统与数字环境交互方式的重大飞跃。与传统仅依赖后端 API 或基于文本提示的 AI Agents 不同，CUA 旨在像人类一样精确地与图形用户界面 (GUI) 进行交互。通过观察屏幕、移动光标、点击元素以及在虚拟键盘上打字，CUA 弥合了抽象的 Generative AI 功能与实际的日常软件操作之间的鸿沟。

这一演变通常被视为迈向 Artificial General Intelligence (AGI) 的一步，因为它挑战了机器智能的历史局限性（有时被称为 Moravec's Paradox），要求 AI 能够无缝感知和导航独特的视觉环境。

向视觉界面的转变#

从历史上看，跨不同软件应用程序自动化任务需要直接集成或刚性的 DOM-based parsing。然而，最新一代的 CUA 利用先进的 Vision-Language Models (VLM) 和复杂的 Computer Vision (CV) 技术来解释屏幕上的像素。

2024 年末至 2025 年初之间的重大突破加速了 CUA 的采用。例如，Anthropic's Claude Computer Use 引入了一个通用 API，允许模型查看桌面并点击各个应用程序。同样，OpenAI's Operator 作为研究预览版首次亮相，能够执行开放式的网页浏览任务。这些系统现在定期在诸如 WebArena 和 OSWorld 等严格的基准测试中进行评估，以衡量它们完成复杂的多步骤数字工作流的能力。

由于这些智能体对系统拥有直接控制权，强烈建议开发者在沙盒化的 Virtual Machines 中运行它们，以减轻诸如意外操作或恶意 Prompt Injection 等风险。

实际应用#

CUAs 正通过在孤立的软件生态系统中执行复杂的多步任务，迅速改变各个行业。

• 自主质量保证 (QA)： 在 GUI automation testing 中，CUA 可以直观地浏览网络应用程序、点击用户工作流并验证布局元素，而无需脆弱的测试脚本。如果按钮改变颜色或移动，智能体会自然地进行调整。
• 传统机器人流程自动化： 对于缺乏现代 API 的旧桌面应用程序，CUA 可以增强 Robotic Process Automation (RPA)。智能体可以打开旧版 CRM、读取非结构化发票，并将提取的数据手动键入系统中，从而简化企业数据录入。

为 CUAs 构建感知能力#

虽然大型 VLM 可以分析整个屏幕截图，但将它们与本地化的 object detection 模型配对通常效率更高、更准确。这些模型实时规划出诸如按钮、图标和文本字段等 UI elements，为智能体点击提供精确的坐标。

开发者可以使用诸如 PyTorch 之类的框架以及 Ultralytics YOLO26 模型来为 CUA 构建高响应的感知层。可以利用 Ultralytics Platform 在自定义 GUI 数据集上进行 model training。以下 Python 代码片段演示了 CUA 如何使用 ultralytics 软件包的 predict mode 在屏幕上查找按钮：

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

CUAs 与相关概念的对比#

了解计算机使用智能体如何融入更广泛的 AI 生态系统对于实现正确的 action chunking 策略至关重要：

• 对比 Auto-GPT： 虽然 Auto-GPT 是一种主要依靠文本生成和预定义脚本来循环处理任务的自主智能体，但 CUA 本身直接与可视界面和操作系统交互。
• 对比函数调用（工具使用）： Function Calling (Tool Use) 允许 AI 执行特定、预定义的后端代码函数（例如检索天气 API）。相比之下，CUA 执行前台 UI 操作，精确地像终端用户一样操纵数字环境。