Computer Use Agents (CUAs)

Computer Use Agents (CUAs) đại diện cho một bước nhảy vọt lớn trong cách các hệ thống trí tuệ nhân tạo tương tác với môi trường kỹ thuật số. Không giống như các AI Agents truyền thống vốn chỉ dựa hoàn toàn vào các API backend hoặc các câu lệnh dựa trên văn bản, một CUA được thiết kế để tương tác với giao diện người dùng đồ họa (GUI) một cách chính xác như con người. Bằng cách quan sát màn hình, di chuyển con trỏ, nhấp vào các thành phần và gõ bàn phím ảo, CUAs thu hẹp khoảng cách giữa các khả năng Generative AI trừu tượng và các hoạt động phần mềm thực tế hàng ngày.

Sự tiến hóa này thường được xem là một bước tiến hướng tới Artificial General Intelligence (AGI), vì nó thách thức những giới hạn lịch sử của trí tuệ máy móc—đôi khi được gọi là Moravec's Paradox—bằng cách yêu cầu AI nhận thức và điều hướng liền mạch trong các môi trường trực quan mang tính đặc thù.

Sự chuyển dịch sang giao diện trực quan#

Trước đây, việc tự động hóa các tác vụ trên các ứng dụng phần mềm khác nhau đòi hỏi các tích hợp trực tiếp hoặc việc DOM-based parsing cứng nhắc. Tuy nhiên, thế hệ CUAs mới nhất tận dụng các Vision-Language Models (VLM) tiên tiến và các kỹ thuật Computer Vision (CV) tinh vi để diễn giải các điểm ảnh trên màn hình.

Những đột phá quan trọng giữa cuối năm 2024 và đầu năm 2025 đã thúc đẩy tốc độ ứng dụng CUA. Ví dụ, Anthropic's Claude Computer Use đã giới thiệu một API tổng quát để các mô hình quan sát màn hình máy tính và nhấp xung quanh các ứng dụng. Tương tự, OpenAI's Operator ra mắt dưới dạng bản xem trước nghiên cứu có khả năng thực hiện các tác vụ duyệt web mở. Các hệ thống này hiện thường xuyên được đánh giá trên các benchmark khắt khe như WebArena và OSWorld để đo lường khả năng hoàn thành các quy trình kỹ thuật số nhiều bước phức tạp.

Vì các tác nhân này có quyền kiểm soát trực tiếp đối với hệ thống, các nhà phát triển được khuyến cáo mạnh mẽ nên chạy chúng bên trong các Virtual Machines được tạo vùng chứa (sandbox) để giảm thiểu các rủi ro như hành động không mong muốn hoặc Prompt Injection độc hại.

Các ứng dụng trong thực tế#

CUA đang nhanh chóng thay đổi các ngành công nghiệp bằng cách thực hiện các tác vụ phức tạp, đa bước trên các hệ sinh thái phần mềm biệt lập.

• Đảm bảo chất lượng tự động (QA): Trong GUI automation testing, CUAs có thể điều hướng trực quan qua các ứng dụng web, nhấp qua các quy trình của người dùng và xác minh các thành phần bố cục mà không cần các tập lệnh kiểm thử dễ hỏng. Nếu một nút thay đổi màu sắc hoặc di chuyển, tác nhân sẽ thích ứng một cách tự nhiên.
• Tự động hóa quy trình robot kế thừa: Đối với các ứng dụng máy tính để bàn cũ thiếu các API hiện đại, CUAs nâng tầm Robotic Process Automation (RPA). Tác nhân có thể mở một CRM cũ, đọc các hóa đơn phi cấu trúc và thủ công nhập dữ liệu được trích xuất vào hệ thống, giúp tối ưu hóa quá trình nhập dữ liệu của doanh nghiệp.

Xây dựng khả năng nhận thức cho CUA#

Mặc dù các VLM lớn có thể phân tích toàn bộ ảnh chụp màn hình, nhưng việc ghép nối chúng với các mô hình object detection cục bộ thường mang lại hiệu quả và độ chính xác cao hơn. Các mô hình này vạch ra các UI elements như nút, biểu tượng và trường văn bản trong thời gian thực, cung cấp tọa độ chính xác để tác nhân nhấp vào.

Các nhà phát triển có thể sử dụng các framework như PyTorch bên cạnh mô hình Ultralytics YOLO26 để xây dựng các lớp nhận thức có độ phản hồi cao cho một CUA. Ultralytics Platform có thể được tận dụng cho model training trên các tập dữ liệu GUI tùy chỉnh. Đoạn mã Python sau đây minh họa cách một CUA có thể sử dụng predict mode của gói ultralytics để tìm một nút trên màn hình:

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

CUA so với các khái niệm liên quan#

Hiểu cách Computer Use Agents hòa nhập vào hệ sinh thái AI rộng lớn hơn là điều cần thiết để triển khai các chiến lược action chunking phù hợp:

• so với Auto-GPT: Trong khi Auto-GPT là một tác nhân tự động chủ yếu dựa vào việc tạo văn bản và các tập lệnh được xác định trước để lặp qua các tác vụ, một CUA vốn dĩ tương tác trực tiếp với giao diện trực quan và hệ điều hành.
• so với Function Calling (Tool Use): Function Calling (Tool Use) cho phép một AI thực thi một hàm mã backend cụ thể, được xác định trước (như truy xuất API thời tiết). Ngược lại, CUAs thực thi các hành động UI frontend, thao tác với môi trường kỹ thuật số một cách chính xác như một người dùng cuối.