Computer Use Agents (CUAs)

تمثل وكيلات استخدام الكمبيوتر (CUAs) نقلة نوعية كبرى في كيفية تفاعل أنظمة الذكاء الاصطناعي مع البيئات الرقمية. وعلى عكس وكلاء الذكاء الاصطناعي التقليديين الذين يعتمدون حصريًا على واجهات برمجة التطبيقات (APIs) للجهة الخلفية أو التوجيهات النصية، فقد تم تصميم CUA للتفاعل مع واجهة المستخدم الرسومية (GUI) بدقة مثلما يفعل الإنسان تمامًا. ومن خلال مراقبة الشاشة، وتحريك مؤشر الماوس، والنقر على العناصر، والكتابة على لوحة مفاتيح افتراضية، تسد وكيلات CUA الفجوة بين قدرات الذكاء الاصطناعي التوليدي المجردة وعمليات البرمجيات العملية اليومية.

غالبًا ما يُنظر إلى هذا التطور على أنه خطوة نحو الذكاء الاصطناعي العام (AGI)، لأنه يتحدى القيود التاريخية لذكاء الآلة — والتي تُعرف أحيانًا باسم مفارقة مورافيك — من خلال مطالبة الذكاء الاصطناعي بإدراك البيئات المرئية المعقدة والتنقل فيها بسلاسة.

التحول نحو الواجهات المرئية#

تاريخيًا، كانت أتمتة المهام عبر تطبيقات برمجية مختلفة تتطلب عمليات تكامل مباشرة أو تحليلاً صارماً يعتمد على نموذج كائن المستند (DOM). ومع ذلك، فإن أحدث جيل من وكيلات CUA يستخدم نماذج الرؤية واللغة المتقدمة (VLM) وتقنيات رؤية الكمبيوتر (CV) المتطورة لتفسير وحدات البكسل على الشاشة.

لقد أدت الإنجازات الكبيرة بين أواخر عام 2024 وأوائل عام 2025 إلى تسريع اعتماد وكيلات CUA. على سبيل المثال، قدمت ميزة Anthropic's Claude Computer Use واجهة برمجة تطبيقات (API) عامة للنماذج لمراقبة سطح المكتب والنقر داخل التطبيقات. وبالمثل، ظهرت أداة OpenAI's Operator كمعاينة بحثية قادرة على تنفيذ مهام تصفح الويب المفتوحة. يتم الآن تقييم هذه الأنظمة بانتظام وفق معايير صارمة مثل WebArena و OSWorld قياسًا لقدرتها على إكمال سير العمل الرقمي المعقد متعدد الخطوات.

نظرًا لأن هذه الوكلات تتمتع بتحكم مباشر في النظام، يُنصح المطورون بشدة بتشغيلها داخل أجهزة افتراضية معزولة للتخفيف من المخاطر مثل الإجراءات غير المقصودة أو حقن الأوامر (Prompt Injection) الضارة.

تطبيقات العالم الحقيقي#

تعمل وكلاء CUAs على تحويل الصناعات بسرعة من خلال تنفيذ مهام معقدة ومتعددة الخطوات عبر أنظمة برمجية منعزلة.

• ضمان الجودة المستقل (QA): في اختبار أتمتة واجهة المستخدم الرسومية (GUI)، يمكن لوكيلات CUA التنقل بصريًا عبر تطبيقات الويب، والنقر خلال مسارات عمل المستخدم، والتحقق من عناصر تخطيط الصفحة دون الحاجة إلى نصوص اختبار هشّة. وإذا تغير لون الزر أو موكعه، فإن الوكيل يتكيف بشكل طبيعي.
• أتمتة العمليات الروبوتية القديمة: بالنسبة لتطبيقات سطح المكتب القديمة التي تفتقر إلى واجهات برمجة تطبيقات حديثة، تعمل وكيلات CUA على تعزيز أتمتة العمليات الروبوتية (RPA). يمكن للوكيل فتح نظام إدارة علاقات عملاء (CRM) قديم، وقراءة الفواتير غير المنظمة، وكتابة البيانات المستخرجة يدويًا في النظام، مما يسهل عملية إدخال البيانات في المؤسسات.

بناء الإدراك لوكلاء CUAs#

بينما تستطيع نماذج VLM الكبيرة تحليل لقطات الشاشة بأكملها، فإنه غالبًا ما يكون من الأكثر كفاءة ودقة إقرانها بنماذج اكتشاف الكائنات المحلية. ترسم هذه النماذج خريطة لـ عناصر واجهة المستخدم (UI) مثل الأزرار والأيقونات وحقول النص في الوقت الفعلي، مما يوفر إحداثيات دقيقة للنقر عليها بواسطة الوكيل.

يمكن للمطورين استخدام إطارات عمل مثل PyTorch إلى جانب نموذج Ultralytics YOLO26 لبناء طبقات إدراك عالية الاستجابة لوكيل CUA. يمكن استخدام Ultralytics Platform لـ model training على مجموعات بيانات واجهة المستخدم الرسومية المخصصة. يوضح مقتطف Python التالي كيف قد يستخدم CUA وضع predict mode الخاص بحزمة ultralytics للعثور على زر على الشاشة:

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

وكلاء CUAs مقابل المفاهيم ذات الصلة#

يعد فهم كيفية ملاءمة وكيلات استخدام الكمبيوتر (CUAs) للنظام البيئي الأوسع للذكاء الاصطناعي أمرًا بالغ الأهمية لتنفيذ استراتيجيات تجزئة الإجراءات الصحيحة:

• مقارنة بـ Auto-GPT: بينما يعد Auto-GPT وكيلًا مستقلًا يعتمد بشكل أساسي على توليد النص والبرامج النصية المحددة مسبقًا للتكرار عبر المهام، فإن CUA يتفاعل بطبيعته مع الواجهات المرئية وأنظمة التشغيل مباشرة.
• مقارنة باستدعاء الدوال (استخدام الأدوات): يتيح Function Calling (Tool Use) للذكاء الاصطناعي تنفيذ دالة كود خلفية محددة ومحددة مسبقًا (مثل استرداد API للطقس). في المقابل، تنفذ وكيلات CUA إجراءات واجهة المستخدم الأمامية، معالجة البيئة الرقمية بدقة كما يفعل المستخدم النهائي.