Computer Use Agents (CUAs)

Agent sử dụng máy tính (CUA) là AI agent vận hành máy tính như con người: chúng quan sát ảnh chụp màn hình, quyết định việc cần làm rồi thực hiện bằng cách di chuyển chuột, nhấp, nhập văn bản và cuộn trang. Vì hoạt động thông qua giao diện đồ họa thay vì API, CUA có thể dùng gần như mọi ứng dụng desktop hoặc web, kể cả phần mềm cũ hoàn toàn không có khả năng tích hợp. Anthropic phát hành computer use cho Claude 3.5 Sonnet dưới dạng beta công khai vào tháng 10 năm 2024. OpenAI tiếp nối vào tháng 1 năm 2025 với Operator, được vận hành bởi một model có tên Computer-Using Agent, sau đó tích hợp Operator vào ChatGPT agent. Google phát hành model Gemini 2.5 Computer Use vào tháng 10 năm 2025.

Cách agent sử dụng máy tính hoạt động#

CUA chạy theo vòng lặp nhận thức–hành động. Bộ khung agent chụp ảnh màn hình rồi gửi ảnh cùng tác vụ và lịch sử hiện tại đến một model thị giác-ngôn ngữ (VLM). Model phản hồi bằng một hành động cùng tọa độ pixel, chẳng hạn nhấp chuột trái tại (512, 384) hoặc nhập cụm từ tìm kiếm; bộ khung thực hiện hành động đó thông qua các API đầu vào của hệ điều hành, chụp ảnh màn hình mới rồi lặp lại. Tài liệu của Anthropic khuyến nghị độ phân giải màn hình 1024 x 768 hoặc 1280 x 720 cho tác vụ desktop; khi bộ khung thu nhỏ ảnh chụp trước khi gửi, nó sẽ phóng tọa độ của model lên theo tỷ lệ để khớp với màn hình thực.

Phần khó nhất của vòng lặp là định vị: chuyển yêu cầu “mở hóa đơn tháng 3” thành đúng pixel của hàng cần chọn. Model đầu cuối dự đoán trực tiếp tọa độ từ ảnh chụp màn hình. Các agent khác trước tiên phân tích màn hình thành danh sách phần tử có nhãn bằng phát hiện vật thể và nhận dạng ký tự quang học (OCR), sau đó để model ngôn ngữ lớn (LLM) chọn phần tử theo ID; nhờ vậy thao tác trỏ chính xác trở thành câu hỏi trắc nghiệm. Agent trình duyệt cũng có thể đọc cây trợ năng hoặc DOM của trang nếu có, và chuyển sang dùng pixel nếu không có.

Phân tích màn hình bằng phát hiện vật thể#

OmniParser của Microsoft, phát hành năm 2024, là bộ phân tích màn hình nổi tiếng nhất thuộc loại này. Công cụ phát hiện mọi biểu tượng có thể nhấp và mọi trường văn bản, chú thích từng biểu tượng bằng model Florence-2 để model ngôn ngữ hiểu chức năng của biểu tượng, đồng thời đọc văn bản bằng OCR; đầu ra đã phân tích giúp tăng độ chính xác của GPT-4V khi nhấp đúng phần tử trên benchmark ScreenSpot. Bộ phát hiện vùng có thể tương tác là một model Ultralytics YOLOv8, được tinh chỉnh trên ảnh chụp màn hình các trang web phổ biến, với hộp của phần tử có thể nhấp lấy từ DOM của từng trang. Phân tích dựa trên phát hiện phù hợp với màn hình có nhiều biểu tượng nhỏ không nhãn; một bộ phát hiện thời gian thực nhanh có thể tìm tất cả mục tiêu trong một lượt, sau đó VLM chỉ cần chọn trong số đó.

Benchmark#

OSWorld, được giới thiệu vào tháng 4 năm 2024, kiểm tra agent trên 369 tác vụ thực tế trong các ứng dụng Ubuntu, Windows và macOS, từ chỉnh sửa bảng tính đến thay đổi cài đặt hệ thống; mỗi kết quả được kiểm tra bằng script. Khi phát hành, con người hoàn thành 72,36% tác vụ, còn model tốt nhất chỉ đạt 12,24%. Computer-Using Agent của OpenAI đạt 38,1% vào tháng 1 năm 2025, Claude Sonnet 4.5 đạt 61,4% vào tháng 9 năm 2025, còn Claude Sonnet 4.6 đạt 72,5% trên tập OSWorld-Verified đã được làm sạch vào tháng 2 năm 2026, xấp xỉ tỷ lệ của con người trong bài báo gốc. WebArena đánh giá agent trình duyệt qua 812 tác vụ trên các trang mua sắm, diễn đàn, lưu trữ mã và quản lý nội dung tự lưu trữ; giống OSWorld, benchmark này chấm điểm từng tác vụ bằng cách kiểm tra trạng thái cuối với script, phương pháp tiêu chuẩn trong đánh giá agent.

CUA và các phương pháp liên quan#

• Tự động hóa quy trình bằng robot (RPA): Phát lại các thao tác nhấp và gõ đã ghi cho một bố cục cố định, vì vậy nút bị di chuyển sẽ làm hỏng script. CUA đọc màn hình hiện tại và lập kế hoạch cho từng bước, đổi lại tốc độ chậm hơn và có phần khó dự đoán.
• Gọi hàm và sử dụng công cụ: Gọi API của ứng dụng bằng các đối số có cấu trúc; cách này nhanh và đáng tin cậy hơn khi có API. Computer use xử lý phần mềm không có API.
• Model hành động lớn (LAM): Model được huấn luyện riêng để xuất hành động trong giao diện phần mềm. Nhiều CUA chạy trên model đa phương thức tổng quát, được huấn luyện để sử dụng máy tính cùng nhiều tác vụ khác.

Ứng dụng và rủi ro#

CUA tự động nhập dữ liệu vào hệ thống cũ, điền biểu mẫu web từ tài liệu, chạy kiểm thử GUI theo quy trình như người dùng và thu thập thông tin trên các trang không có API. Mọi nội dung trên màn hình đều trở thành đầu vào của model, vì vậy trang web, email hoặc tài liệu có thể chứa prompt injection hướng agent làm việc khác. Nhà cung cấp khuyến nghị chạy CUA trong sandbox agent, chẳng hạn máy ảo chuyên dụng với quyền hạn tối thiểu; không để CUA truy cập tài khoản đã đăng nhập có dữ liệu nhạy cảm; yêu cầu xác nhận trước khi mua hàng, gửi tin nhắn và thực hiện các hành động có hậu quả khác; Operator cũng trao lại quyền điều khiển cho người dùng bất cứ khi nào trang web yêu cầu thông tin đăng nhập, thanh toán hoặc CAPTCHA.