Computer Use Agents (CUAs)

Computer Use Agents (CUA)는 인공지능 시스템이 디지털 환경과 상호작용하는 방식에 있어 중요한 도약을 의미합니다. 백엔드 API나 텍스트 기반 프롬프트에만 의존하는 기존의 AI Agents와 달리, CUA는 인간과 동일한 방식으로 그래픽 사용자 인터페이스(GUI)와 상호작용하도록 설계되었습니다. 화면을 관찰하고, 커서를 이동하고, 요소를 클릭하며, 가상 키보드로 타이핑함으로써 CUA는 추상적인 Generative AI 기능과 실제적이고 일상적인 소프트웨어 운영 사이의 격차를 해소합니다.

이러한 발전은 종종 Artificial General Intelligence (AGI)로 향하는 단계로 간주됩니다. 이는 AI가 특이한 시각적 환경을 원활하게 인식하고 탐색해야 하므로, 흔히 Moravec's Paradox라고 불리는 기계 지능의 역사적 한계에 도전하기 때문입니다.

Link to this section시각적 인터페이스로의 전환#

과거에는 서로 다른 소프트웨어 애플리케이션 전반에서 작업을 자동화하기 위해 직접적인 통합이나 경직된 DOM-based parsing이 필요했습니다. 그러나 최신 세대의 CUA는 고급 Vision-Language Models (VLM)과 정교한 Computer Vision (CV) 기술을 활용하여 화면의 픽셀을 해석합니다.

2024년 말부터 2025년 초 사이에 이루어진 중요한 돌파구들이 CUA 도입을 가속화했습니다. 예를 들어, Anthropic's Claude Computer Use는 모델이 데스크톱을 살펴보고 애플리케이션을 클릭할 수 있도록 하는 일반화된 API를 도입했습니다. 마찬가지로, OpenAI's Operator는 개방형 웹 브라우징 작업을 실행할 수 있는 연구용 프리뷰로 데뷔했습니다. 이러한 시스템은 이제 복잡한 다단계 디지털 워크플로우를 완료하는 능력을 측정하기 위해 WebArena 및 OSWorld와 같은 엄격한 벤치마크에서 일상적으로 평가됩니다.

Because these agents have direct control over a system, developers are strongly advised to run them inside sandboxed Virtual Machines to mitigate risks such as unintended actions or malicious Prompt Injection.

Link to this section실제 적용 사례#

CUA는 분리된 소프트웨어 생태계 전반에서 복잡한 다단계 작업을 실행함으로써 산업을 빠르게 변화시키고 있습니다.

• 자율 품질 보증(QA): GUI automation testing에서 CUA는 웹 애플리케이션을 시각적으로 탐색하고, 사용자 워크플로우를 클릭하며, 깨지기 쉬운 테스트 스크립트 없이도 레이아웃 요소를 검증할 수 있습니다. 버튼의 색상이 바뀌거나 위치가 이동하더라도 에이전트는 자연스럽게 적응합니다.
• 레거시 로봇 프로세스 자동화: 현대적인 API가 부족한 구형 데스크톱 애플리케이션의 경우, CUA는 Robotic Process Automation (RPA) 기능을 크게 향상시킵니다. 에이전트는 레거시 CRM을 열고, 구조화되지 않은 송장을 읽고, 추출된 데이터를 시스템에 수동으로 입력하여 엔터프라이즈 데이터 입력을 간소화할 수 있습니다.

Link to this sectionCUA를 위한 인식 기능 구축#

대규모 VLM은 전체 스크린샷을 분석할 수 있지만, 지역화된 object detection 모델과 페어링하는 것이 종종 더 효율적이고 정확합니다. 이러한 모델은 버튼, 아이콘, 텍스트 필드와 같은 UI elements를 실시간으로 매핑하여 에이전트가 클릭할 정확한 좌표를 제공합니다.

개발자는 PyTorch와 함께 Ultralytics YOLO26 모델을 사용하여 CUA를 위한 반응성이 뛰어난 인식 계층을 구축할 수 있습니다. Ultralytics Platform은 사용자 정의 GUI 데이터셋에 대한 model training에 활용될 수 있습니다. 다음 Python 코드 조각은 CUA가 ultralytics 패키지의 predict mode를 사용하여 화면에서 버튼을 찾는 방법을 보여줍니다.

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

Link to this sectionCUA와 관련 개념 비교#

CUA가 광범위한 AI 생태계에 어떻게 부합하는지 이해하는 것은 올바른 action chunking 전략을 구현하는 데 필수적입니다.

• vs. Auto-GPT: Auto-GPT는 텍스트 생성과 미리 정의된 스크립트에 주로 의존하여 작업을 반복 수행하는 자율 에이전트인 반면, CUA는 시각적 인터페이스 및 운영 체제와 직접적으로 상호작용합니다.
• vs. 함수 호출(도구 사용): Function Calling (Tool Use)는 AI가 미리 정의된 특정 백엔드 코드 함수(예: 날씨 API 가져오기)를 실행할 수 있게 합니다. 반면, CUA는 최종 사용자처럼 디지털 환경을 정밀하게 조작하면서 프런트엔드 UI 작업을 실행합니다.