Computer Use Agents (CUAs)

وكلاء استخدام الحاسوب (CUAs) هم وكلاء ذكاء اصطناعي يشغّلون الحاسوب كما يفعل الإنسان: ينظرون إلى لقطات الشاشة، ويقررون ما ينبغي فعله، وينفذون ذلك بتحريك الفأرة والنقر والكتابة والتمرير. ولأنهم يعملون عبر الواجهة الرسومية بدلًا من API، يستطيع وكيل CUA استخدام أي تطبيق مكتبي أو ويب تقريبًا، بما في ذلك البرمجيات القديمة التي لا توفر أي تكامل. أطلقت Anthropic ميزة استخدام الحاسوب في Claude 3.5 Sonnet كإصدار تجريبي عام في أكتوبر 2024. وتبعتها OpenAI في يناير 2025 بمنتج Operator، المدعوم بنموذج أطلقت عليه اسم وكيل استخدام الحاسوب، ثم أدمجت Operator لاحقًا في وكيل ChatGPT. وأصدرت Google نموذج Gemini 2.5 Computer Use في أكتوبر 2025.

آلية عمل وكلاء استخدام الحاسوب#

يعمل وكيل CUA ضمن حلقة إدراك وفعل. تلتقط بيئة الوكيل لقطة شاشة وترسلها، مع المهمة وسجل التفاعل حتى تلك اللحظة، إلى نموذج رؤية ولغة (VLM). ويرد النموذج بإجراء واحد وإحداثياته بالبكسل، مثل نقرة يسارية عند (512, 384) أو كتابة عبارة بحث؛ ثم تنفذه البيئة عبر واجهات إدخال نظام التشغيل، وتلتقط لقطة شاشة جديدة، وتكرر العملية. وتوصي وثائق Anthropic بدقة عرض 1024 x 768 أو 1280 x 720 لمهام الحاسوب المكتبي. وعندما تصغّر بيئة الوكيل لقطات الشاشة قبل إرسالها، فإنها تعيد تحجيم إحداثيات النموذج لتوافق أبعاد الشاشة الحقيقية.

أصعب جوانب الحلقة هو تحديد الموضع: تحويل «افتح فاتورة مارس» إلى موضع البكسل الدقيق للصف الصحيح. وتتنبأ النماذج الشاملة بالإحداثيات مباشرةً من لقطة الشاشة. أما الوكلاء الآخرون فيحللون الشاشة أولًا إلى قائمة عناصر معنونة باستخدام اكتشاف الأجسام والتعرّف الضوئي على الحروف (OCR)، ثم يطلبون من نموذج لغوي كبير (LLM) اختيار عنصر بحسب معرّفه، ما يحول الإشارة الدقيقة إلى سؤال متعدد الخيارات. ويمكن لوكلاء المتصفح أيضًا قراءة شجرة إمكانية الوصول أو نموذج كائن المستند (DOM) للصفحة حين يكون متاحًا، واللجوء إلى وحدات البكسل عند تعذره.

تحليل الشاشة باستخدام اكتشاف الأجسام#

يُعد OmniParser من Microsoft، الذي صدر عام 2024، أشهر محلّل شاشات من هذا النوع. فهو يكتشف كل أيقونة قابلة للنقر وكل حقل نصي، ويضيف وصفًا لكل أيقونة باستخدام نموذج Florence-2 كي يعرف النموذج اللغوي وظيفتها، ويقرأ النص باستخدام OCR؛ وقد رفعت المخرجات المحللة دقة GPT-4V في النقر على العنصر الصحيح ضمن معيار ScreenSpot. وكاشف المناطق التفاعلية فيه نموذج Ultralytics YOLOv8 مضبوط بدقة على لقطات لشاشات صفحات ويب شائعة، واستُخرجت صناديق العناصر القابلة للنقر فيها من نموذج DOM لكل صفحة. ويناسب التحليل القائم على الاكتشاف الشاشات المليئة بأيقونات صغيرة غير معنونة، حيث يعثر كاشف آني سريع على كل هدف بتمريرة واحدة، ولا يحتاج نموذج VLM إلا إلى الاختيار بينها.

المعايير#

يختبر OSWorld، الذي قُدّم في أبريل 2024، الوكلاء عبر 369 مهمة حقيقية في تطبيقات Ubuntu وWindows وmacOS، بدءًا من تحرير جداول البيانات وحتى تغيير إعدادات النظام، ويتحقق من كل نتيجة باستخدام نص برمجي. وعند إطلاقه، أنجز البشر 72.36% من المهام، بينما لم ينجز أفضل نموذج سوى 12.24%. وبلغ وكيل استخدام الحاسوب من OpenAI نسبة 38.1% في يناير 2025، وبلغ Claude Sonnet 4.5 نسبة 61.4% في سبتمبر 2025، وسجل Claude Sonnet 4.6 نسبة 72.5% على مجموعة OSWorld-Verified المنقحة في فبراير 2026، أي نحو معدل البشر في الورقة الأصلية. ويغطي WebArena وكلاء المتصفح عبر 812 مهمة في مواقع تسوق ومنتديات واستضافة شيفرات وإدارة محتوى مستضافة ذاتيًا؛ وكما في OSWorld، يُقيّم كل مهمة بالتحقق من الحالة النهائية باستخدام نص برمجي، وهي الممارسة المعيارية في تقييم الوكلاء.

وكلاء CUA والنهج ذات الصلة#

• أتمتة العمليات الروبوتية (RPA): تعيد تشغيل نقرات وضغطات مفاتيح مسجلة لتخطيط ثابت واحد، لذا يؤدي تحريك زر إلى تعطيل النص البرمجي. أما وكيل CUA فيقرأ الشاشة الحالية ويخطط لكل خطوة، على حساب السرعة وبعض القدرة على التنبؤ.
• استدعاء الدوال واستخدام الأدوات: يستدعي واجهة API للتطبيق باستخدام وسيطات منظمة، ما يكون أسرع وأكثر موثوقية كلما توفرت واجهة API. ويغطي استخدام الحاسوب البرمجيات التي لا تملك واجهة API.
• نماذج الإجراءات الكبيرة (LAMs): نماذج مدرّبة خصيصًا لإخراج إجراءات في واجهات البرمجيات. ويعمل كثير من وكلاء CUA على نماذج متعددة الوسائط عامة مدرّبة على استخدام الحاسوب إلى جانب مهام أخرى.

التطبيقات والمخاطر#

تؤتمت وكلاء CUA إدخال البيانات في الأنظمة القديمة، وتملأ نماذج الويب من المستندات، وتشغّل اختبارات الواجهة الرسومية التي تتبع سير العمل كما يفعل المستخدم، وتجمع المعلومات عبر المواقع التي لا توفر واجهات API. وكل ما يظهر على الشاشة يُعد مدخلًا للنموذج، لذا قد تحتوي صفحة ويب أو رسالة بريد إلكتروني أو مستند على حقن مطالبة يطلب من الوكيل فعل شيء آخر. ويوصي مزودو الخدمة بتشغيل وكلاء CUA في بيئة معزولة للوكيل، مثل آلة افتراضية مخصصة ذات امتيازات محدودة، وإبعادها عن الحسابات المسجلة الدخول التي تحتوي على بيانات حساسة، واشتراط التأكيد على عمليات الشراء والرسائل المرسلة وغيرها من الإجراءات ذات العواقب؛ وكان Operator يعيد التحكم إلى المستخدم كلما طلب موقع ما بيانات تسجيل الدخول أو الدفع أو اختبار CAPTCHA.