Computer Use Agents (CUAs)

컴퓨터 사용 에이전트(CUA)는 사람이 컴퓨터를 사용하는 것처럼 작동하는 AI 에이전트입니다. 화면 스크린샷을 보고, 수행할 작업을 결정한 뒤, 마우스 이동, 클릭, 입력 및 스크롤로 동작합니다. API 대신 그래픽 인터페이스를 통해 작동하므로, CUA는 통합 기능이 전혀 없는 레거시 소프트웨어를 포함해 거의 모든 데스크톱 또는 웹 애플리케이션을 사용할 수 있습니다. Anthropic은 2024년 10월 Claude 3.5 Sonnet의 컴퓨터 사용 기능을 공개 베타로 출시했습니다. OpenAI는 2025년 1월 Computer-Using Agent라는 모델을 기반으로 하는 Operator를 출시했고, 이후 Operator를 ChatGPT 에이전트에 통합했습니다. Google은 2025년 10월 Gemini 2.5 Computer Use 모델을 출시했습니다.

컴퓨터 사용 에이전트의 작동 방식#

CUA는 인식-행동 루프를 실행합니다. 에이전트 하네스가 스크린샷을 캡처해 지금까지의 작업 및 이력과 함께 비전-언어 모델(VLM)에 보냅니다. 모델은 (512, 384)에서 왼쪽 클릭하거나 검색어를 입력하는 것과 같이 행동 하나와 픽셀 좌표를 반환합니다. 하네스는 운영체제의 입력 API를 통해 해당 행동을 수행하고 새 스크린샷을 캡처한 뒤 과정을 반복합니다. Anthropic 문서는 데스크톱 작업에 1024 x 768 또는 1280 x 720 디스플레이를 권장합니다. 하네스가 전송 전에 스크린샷 크기를 줄이는 경우에는 모델의 좌표를 실제 화면 크기에 맞게 다시 확대합니다.

이 루프에서 가장 어려운 부분은 그라운딩입니다. "3월 청구서를 열어 줘"라는 요청을 정확한 행의 픽셀 위치로 변환해야 합니다. 엔드투엔드 모델은 스크린샷에서 좌표를 직접 예측합니다. 다른 에이전트는 먼저 객체 탐지 및 광학 문자 인식(OCR)으로 화면을 라벨이 붙은 요소 목록으로 변환한 다음, 대규모 언어 모델(LLM)이 ID를 기준으로 요소를 선택하게 합니다. 이렇게 하면 정밀한 위치 지정이 객관식 문제로 바뀝니다. 브라우저 에이전트는 접근성 트리나 DOM을 사용할 수 있는 경우 이를 읽고, 사용할 수 없는 경우 픽셀을 이용할 수도 있습니다.

객체 탐지를 통한 화면 파싱#

2024년에 출시된 Microsoft의 OmniParser는 이러한 유형의 화면 파서 중 가장 잘 알려져 있습니다. 클릭 가능한 모든 아이콘과 텍스트 필드를 감지하고, Florence-2 모델로 각 아이콘의 캡션을 생성해 언어 모델이 기능을 파악하도록 하며, OCR로 텍스트를 읽습니다. 파싱된 출력을 사용했을 때 ScreenSpot 벤치마크에서 GPT-4V의 정확도가 높아졌습니다. OmniParser의 상호작용 가능 영역 탐지기는 각 페이지의 DOM에서 가져온 클릭 가능 요소 박스를 포함하는 인기 웹 페이지 스크린샷으로 미세 조정한 Ultralytics YOLOv8 모델입니다. 탐지 기반 파싱은 작고 라벨이 없는 아이콘이 많은 화면에 적합합니다. 빠른 실시간 탐지기가 한 번에 모든 대상을 찾고 VLM은 그중 하나를 선택하기만 하면 됩니다.

벤치마크#

2024년 4월에 소개된 OSWorld는 스프레드시트 편집부터 시스템 설정 변경까지 Ubuntu, Windows 및 macOS 애플리케이션 전반의 실제 작업 369개를 대상으로 에이전트를 테스트하고, 스크립트로 각 결과를 확인합니다. 출시 당시 사람은 작업의 72.36%를 완료했지만 최고 성능 모델은 12.24%만 완료했습니다. OpenAI의 Computer-Using Agent는 2025년 1월 38.1%, Claude Sonnet 4.5는 2025년 9월 61.4%를 기록했습니다. Claude Sonnet 4.6은 2026년 2월 정제된 OSWorld-Verified 세트에서 72.5%를 기록해 원 논문에서 보고한 사람의 비율과 비슷한 수준에 도달했습니다. WebArena는 자체 호스팅 쇼핑, 포럼, 코드 호스팅 및 콘텐츠 관리 사이트에서 수행하는 작업 812개로 브라우저 에이전트를 평가합니다. OSWorld와 마찬가지로 스크립트로 최종 상태를 확인해 각 작업에 점수를 매기며, 이는 에이전트 평가의 표준 방식입니다.

CUA와 관련 접근 방식 비교#

• 로보틱 프로세스 자동화(RPA): 고정된 레이아웃에서 기록한 클릭과 키 입력을 재생하므로 버튼이 이동하면 스크립트가 작동하지 않습니다. CUA는 현재 화면을 읽고 각 단계를 계획하지만, 속도가 느리고 어느 정도 예측하기 어렵습니다.
• 함수 호출 및 도구 사용: 구조화된 인수로 애플리케이션의 API를 호출합니다. API가 있다면 이 방식이 더 빠르고 안정적입니다. 컴퓨터 사용은 API가 없는 소프트웨어를 대상으로 합니다.
• 대규모 행동 모델(LAM): 소프트웨어 인터페이스에서 행동을 출력하도록 특별히 학습된 모델입니다. 많은 CUA는 컴퓨터 사용을 비롯한 다양한 작업을 위해 학습된 범용 멀티모달 모델을 기반으로 작동합니다.

활용 사례 및 위험#

CUA는 레거시 시스템의 데이터 입력을 자동화하고, 문서를 바탕으로 웹 양식을 작성하며, 사용자가 하는 방식대로 워크플로를 수행하는 GUI 테스트를 실행하고, API가 없는 여러 사이트에서 정보를 수집합니다. 화면의 모든 요소가 모델 입력이 되므로 웹 페이지, 이메일 또는 문서에 에이전트에게 다른 작업을 지시하는 프롬프트 인젝션이 포함될 수 있습니다. 공급업체는 CUA를 권한이 최소화된 전용 가상 머신과 같은 에이전트 샌드박스에서 실행하고, 민감한 데이터가 있는 로그인 계정에 접근하지 못하게 하며, 구매, 메시지 전송 및 기타 중대한 작업에 확인 절차를 요구할 것을 권장합니다. Operator는 사이트에서 로그인 정보, 결제 정보 또는 CAPTCHA를 요구할 때마다 제어권을 사용자에게 돌려줬습니다.