Computer Use Agents (CUAs)

Агенты для управления компьютером (CUA) — это ИИ-агенты, которые работают с компьютером так же, как человек: анализируют снимки экрана, решают, что делать, и выполняют действия с помощью мыши, щелчков, ввода текста и прокрутки. Поскольку они используют графический интерфейс, а не API, CUA могут работать почти с любыми настольными и веб-приложениями, включая устаревшее ПО без каких-либо средств интеграции. В октябре 2024 года Anthropic выпустила функцию управления компьютером для Claude 3.5 Sonnet в виде публичной бета-версии. В январе 2025 года OpenAI представила Operator на основе модели под названием Computer-Using Agent, а позднее включила Operator в ChatGPT agent. В октябре 2025 года Google выпустила модель Gemini 2.5 Computer Use.

Как работают агенты для управления компьютером#

CUA работает в цикле «восприятие — действие». Его обвязка агента делает снимок экрана и отправляет его вместе с задачей и всей предыдущей историей в модель «зрение — язык» (VLM). Модель возвращает одно действие и его координаты в пикселях, например щелчок левой кнопкой в точке (512, 384) или ввод поискового запроса. Обвязка выполняет действие через API ввода операционной системы, делает новый снимок экрана и повторяет цикл. В документации Anthropic для настольных задач рекомендуется разрешение экрана 1024 x 768 или 1280 x 720. Если обвязка уменьшает снимки перед отправкой, она пересчитывает координаты модели в соответствии с исходным размером экрана.

Самая сложная часть цикла — это привязка к интерфейсу: преобразование команды «открой счёт за март» в точные координаты нужной строки. Сквозные модели напрямую предсказывают координаты по снимку экрана. Другие агенты сначала разбирают экран на список помеченных элементов с помощью обнаружения объектов и оптического распознавания символов (OCR), а затем позволяют большой языковой модели (LLM) выбрать элемент по его идентификатору, превращая точное указание в задачу с вариантами ответа. Браузерные агенты также могут считывать дерево доступности или DOM страницы, если они доступны, и переходить к пикселям, если нет.

Разбор экрана с помощью обнаружения объектов#

Выпущенный в 2024 году OmniParser от Microsoft — самый известный экранный парсер такого типа. Он обнаруживает все кликабельные значки и текстовые поля, добавляет к каждому значку описание с помощью модели Florence-2, чтобы языковая модель понимала его назначение, и считывает текст посредством OCR. На бенчмарке ScreenSpot такой разбор повысил точность GPT-4V при выборе нужного элемента. Его детектор интерактивных областей — это модель Ultralytics YOLOv8, дообученная на снимках экранов популярных веб-страниц, где рамки кликабельных элементов получены из DOM каждой страницы. Разбор на основе детекции подходит для экранов, заполненных небольшими значками без подписей: быстрый детектор реального времени находит все цели за один проход, а VLM остаётся лишь выбрать одну из них.

Бенчмарки#

Представленный в апреле 2024 года бенчмарк OSWorld проверяет агентов на 369 реальных задачах в приложениях для Ubuntu, Windows и macOS: от редактирования электронных таблиц до изменения системных настроек. Результат каждой задачи проверяется скриптом. На момент запуска люди выполняли 72,36% задач, а лучшая модель — лишь 12,24%. В январе 2025 года Computer-Using Agent от OpenAI достиг 38,1%, в сентябре 2025 года Claude Sonnet 4.5 — 61,4%, а в феврале 2026 года Claude Sonnet 4.6 набрала 72,5% на очищенном наборе OSWorld-Verified — примерно столько же, сколько люди в исходной статье. WebArena оценивает браузерных агентов на 812 задачах на самостоятельно размещённых сайтах покупок, форумов, хостинга кода и управления контентом. Как и OSWorld, он проверяет результат каждой задачи скриптом; это стандартная практика оценки агентов.

CUA и смежные подходы#

• Роботизированная автоматизация процессов (RPA): воспроизводит щелчки и нажатия клавиш, записанные для одного фиксированного макета; если кнопка переместится, скрипт перестанет работать. CUA анализирует текущий экран и планирует каждый шаг, но работает медленнее и менее предсказуемо.
• Вызов функций и использование инструментов: вызывает API приложения со структурированными аргументами. Это быстрее и надёжнее, если API существует. Управление компьютером позволяет работать с программами, у которых нет API.
• Модели больших действий (LAM): модели, специально обученные выдавать действия в интерфейсах программ. Многие CUA используют общие мультимодальные модели, обученные управлению компьютером наряду с другими задачами.

Применение и риски#

CUA автоматизируют ввод данных в устаревшие системы, заполняют веб-формы по документам, запускают тесты графического интерфейса (GUI), проходя рабочие процессы так же, как пользователь, и собирают информацию с сайтов без API. Всё, что есть на экране, становится входными данными для модели, поэтому веб-страница, письмо или документ могут содержать инъекцию промпта, побуждающую агента к другим действиям. Провайдеры рекомендуют запускать CUA в изолированной среде агента, например на отдельной виртуальной машине с минимальными правами, не давать им доступ к авторизованным аккаунтам с чувствительными данными и требовать подтверждение покупок, отправки сообщений и других важных действий. Operator передавал управление пользователю всякий раз, когда сайт запрашивал данные для входа, оплаты или CAPTCHA.