Computer Use Agents (CUAs)

Computer Use Agents (CUAs) представляют собой значительный шаг вперед в том, как системы искусственного интеллекта взаимодействуют с цифровыми средами. В отличие от традиционных AI Agents, которые полагаются исключительно на бэкенд-API или текстовые промпты, CUA разработан для взаимодействия с графическим пользовательским интерфейсом (GUI) точно так же, как это делает человек. Наблюдая за экраном, перемещая курсор, кликая по элементам и печатая на виртуальной клавиатуре, CUA преодолевают разрыв между абстрактными возможностями Generative AI и практичными повседневными программными операциями.

Эта эволюция часто рассматривается как шаг к Artificial General Intelligence (AGI), поскольку она бросает вызов историческим ограничениям машинного интеллекта, иногда называемым Moravec's Paradox, требуя от ИИ беспрепятственного восприятия и навигации по специфическим визуальным средам.

Переход к визуальным интерфейсам#

Исторически автоматизация задач в различных программных приложениях требовала прямых интеграций или жесткого DOM-based parsing. Тем не менее, последнее поколение CUA использует передовые Vision-Language Models (VLM) и сложные методы Computer Vision (CV) для интерпретации пикселей на экране.

Значительные прорывы в период с конца 2024 по начало 2025 года ускорили внедрение CUA. Например, Anthropic's Claude Computer Use представил обобщенный API для моделей, позволяющий смотреть на рабочий стол и кликать по приложениям. Аналогичным образом, OpenAI's Operator дебютировал как исследовательская превью-версия, способная выполнять открытые задачи веб-серфинга. Эти системы теперь регулярно оцениваются на строгих бенчмарках, таких как WebArena и OSWorld, чтобы измерить их способность выполнять сложные многошаговые цифровые рабочие процессы.

Поскольку эти агенты имеют прямой контроль над системой, разработчикам настоятельно рекомендуется запускать их внутри изолированных Virtual Machines, чтобы снизить такие риски, как непреднамеренные действия или вредоносный Prompt Injection.

Реальные приложения#

CUA быстро трансформируют индустрии, выполняя сложные, многошаговые задачи в изолированных программных экосистемах.

• Автономный контроль качества (QA): В GUI automation testing CUA могут визуально перемещаться по веб-приложениям, кликать по пользовательским рабочим процессам и проверять элементы макета без хрупких тестовых скриптов. Если кнопка меняет цвет или перемещается, агент адаптируется естественным образом.
• Устаревшая роботизированная автоматизация процессов: Для старых настольных приложений, в которых отсутствуют современные API, CUA расширяют возможности Robotic Process Automation (RPA). Агент может открыть старую CRM, прочитать неструктурированные счета-фактуры и вручную ввести извлеченные данные в систему, оптимизируя ввод корпоративных данных.

Построение восприятия для CUA#

Хотя крупные VLM могут анализировать целые скриншоты, часто эффективнее и точнее объединять их с локализованными моделями object detection. Эти модели отображают UI elements, такие как кнопки, значки и текстовые поля, в режиме реального времени, предоставляя точные координаты для клика агента.

Разработчики могут использовать такие фреймворки, как PyTorch, наряду с моделью Ultralytics YOLO26 для создания высокореагирующих слоев восприятия для CUA. Ultralytics Platform может использоваться для model training на пользовательских наборах данных GUI. Следующий фрагмент на Python демонстрирует, как CUA может использовать predict mode пакета ultralytics для поиска кнопки на экране:

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

CUA против связанных концепций#

Понимание того, как Computer Use Agents вписываются в более широкую экосистему ИИ, имеет важное значение для реализации правильных стратегий action chunking:

• vs. Auto-GPT: В то время как Auto-GPT является автономным агентом, который в основном полагается на генерацию текста и предопределенные скрипты для циклического выполнения задач, CUA изначально напрямую взаимодействует с визуальными интерфейсами и операционными системами.
• vs. Function Calling (Tool Use): Function Calling (Tool Use) позволяет ИИ выполнять определенную, предопределенную функцию бэкенд-кода (например, извлекать данные о погоде через API). В отличие от этого, CUA выполняют интерфейсные действия в пользовательском интерфейсе, управляя цифровой средой точно так же, как это сделал бы конечный пользователь.