Computer Use Agents (CUAs)

コンピューター操作エージェント (CUA) は、人間と同じようにコンピューターを操作するAIエージェントです。画面のスクリーンショットを見て、何をすべきか判断し、マウス移動、クリック、入力、スクロールで操作します。APIではなくグラフィカルインターフェースを通じて動作するため、CUAは連携機能がまったくないレガシーソフトウェアも含め、ほぼすべてのデスクトップアプリケーションやWebアプリケーションを利用できます。Anthropicは2024年10月、Claude 3.5 Sonnet向けのcomputer useをパブリックベータとして公開しました。OpenAIは2025年1月に、Computer-Using Agentと名付けたモデルを使うOperatorを発表し、その後OperatorをChatGPT agentに統合しました。Googleは2025年10月にGemini 2.5 Computer Useモデルを公開しました。

コンピューター操作エージェントの仕組み#

CUAは知覚と行動のループを実行します。エージェントハーネスがスクリーンショットを取得し、タスクとそれまでの履歴とともに視覚言語モデル (VLM)に送信します。モデルは、(512, 384)で左クリックする、検索語を入力するなど、1つの行動とそのピクセル座標を返します。ハーネスはOSの入力APIを通じてその行動を実行し、新しいスクリーンショットを取得して同じ処理を繰り返します。Anthropicのドキュメントでは、デスクトップタスクに1024 x 768または1280 x 720のディスプレイを推奨しています。ハーネスが送信前にスクリーンショットを縮小する場合は、モデルの座標を実際の画面サイズに合わせて拡大します。

このループで最も難しいのはグラウンディングです。「3月の請求書を開く」という指示を、対象の行の正確なピクセル位置に対応付ける必要があります。エンドツーエンドモデルはスクリーンショットから座標を直接予測します。ほかのエージェントはまず、物体検出と光学文字認識 (OCR)で画面をラベル付き要素の一覧に変換し、大規模言語モデル (LLM)がIDで要素を選べるようにします。これにより、正確な位置指定が多肢選択式の質問になります。ブラウザーエージェントは、利用可能であればページのアクセシビリティツリーやDOMを読み取り、利用できない場合はピクセルに切り替えることもできます。

物体検出による画面解析#

Microsoftが2024年に公開したOmniParserは、この種の画面解析ツールとして最もよく知られています。クリック可能なアイコンやテキストフィールドをすべて検出し、Florence-2モデルで各アイコンの説明を付けて言語モデルが機能を把握できるようにし、OCRでテキストを読み取ります。この解析結果により、ScreenSpotベンチマークで正しい要素をクリックするGPT-4Vの精度が向上しました。操作可能領域検出器は、人気のWebページのスクリーンショットを使ってファインチューニングしたUltralytics YOLOv8モデルです。クリック可能な要素のボックスは、各ページのDOMから取得しました。検出ベースの解析は、小さくラベルのないアイコンが多い画面に適しています。高速なリアルタイム検出器が1回の処理ですべての対象を見つけ、VLMはその中から選ぶだけで済みます。

ベンチマーク#

2024年4月に発表されたOSWorldは、Ubuntu、Windows、macOSのアプリケーションで、表計算の編集からシステム設定の変更まで369件の実タスクをエージェントに実行させ、各結果をスクリプトで確認します。公開時点では、人間はタスクの72.36%を完了し、最高性能のモデルはわずか12.24%でした。OpenAIのComputer-Using Agentは2025年1月に38.1%、Claude Sonnet 4.5は2025年9月に61.4%を達成しました。Claude Sonnet 4.6は2026年2月、整理済みのOSWorld-Verifiedセットで72.5%を記録し、原論文の人間の成功率に近づきました。WebArenaは、セルフホスト型のショッピング、フォーラム、コードホスティング、コンテンツ管理サイトで812件のタスクを使ってブラウザーエージェントを評価します。OSWorldと同様に、最終状態をスクリプトで確認して各タスクを採点する方式で、エージェント評価の標準的な手法です。

CUAと関連アプローチの比較#

• ロボティック・プロセス・オートメーション (RPA)： 固定された1つのレイアウトで記録したクリックやキー入力を再生するため、ボタンの位置が変わるとスクリプトが動かなくなります。CUAは現在の画面を読み取り、各ステップを計画しますが、その代わりに速度が遅く、予測しにくい面があります。
• 関数呼び出しとツール使用： 構造化引数を使ってアプリケーションのAPIを呼び出します。APIがある場合は、こちらの方が高速で信頼性も高くなります。コンピューター操作はAPIがないソフトウェアを対象とします。
• 大規模行動モデル (LAM)： ソフトウェアインターフェース上の行動を出力するよう特化して訓練されたモデルです。多くのCUAは、コンピューター操作を含む幅広いタスクで訓練された汎用のマルチモーダルモデルを使います。

用途とリスク#

CUAは、レガシーシステムへのデータ入力、文書に基づくWebフォームの記入、ユーザーと同じようにワークフローを実行するGUIテスト、APIのない複数サイトにまたがる情報収集を自動化します。画面上のあらゆる情報がモデルへの入力となるため、Webページ、メール、文書に、エージェントに別の操作を指示するプロンプトインジェクションが含まれる可能性があります。プロバイダーは、最小限の権限で専用仮想マシンなどのエージェントサンドボックスでCUAを実行すること、機密データを含むログイン済みアカウントから隔離すること、購入、メッセージ送信など重大な操作には確認を必須にすることを推奨しています。またOperatorは、サイトがログイン情報、支払い情報、CAPTCHAを求めた場合、操作をユーザーに引き継ぎました。