Computer Use Agents (CUAs)

تمثل وكلاء استخدام الحاسوب (CUAs) قفزة نوعية في كيفية تفاعل أنظمة الذكاء الاصطناعي مع البيئات الرقمية. على عكس وكلاء الذكاء الاصطناعي التقليديين الذين يعتمدون حصرياً على واجهات برمجة التطبيقات (APIs) الخلفية أو المطالبات النصية، تم تصميم CUA للتفاعل مع واجهة المستخدم الرسومية (GUI) تماماً كما يفعل البشر. من خلال مراقبة الشاشة، وتحريك المؤشر، والنقر على العناصر، والكتابة على لوحة مفاتيح افتراضية، تسد وكلاء CUAs الفجوة بين قدرات الذكاء الاصطناعي التوليدي المجردة وعمليات البرمجيات العملية اليومية.

يُنظر إلى هذا التطور غالباً كخطوة نحو الذكاء الاصطناعي العام (AGI)، حيث يتحدى القيود التاريخية للذكاء الاصطناعي—والتي يُشار إليها أحياناً باسم مفارقة مورافيك—من خلال مطالبة الذكاء الاصطناعي بإدراك البيئات المرئية الفريدة والتنقل فيها بسلاسة.

Link to this sectionالتحول نحو الواجهات المرئية#

تاريخياً، تطلبت أتمتة المهام عبر تطبيقات برمجية مختلفة عمليات تكامل مباشرة أو تحليلاً قائماً على DOM صارماً. ومع ذلك، يستخدم الجيل الأحدث من وكلاء CUAs نماذج متقدمة من نماذج الرؤية واللغة (VLM) وتقنيات الرؤية الحاسوبية (CV) المتطورة لتفسير وحدات البكسل على الشاشة.

أدت الاختراقات الكبيرة بين أواخر عام 2024 وأوائل عام 2025 إلى تسريع اعتماد وكلاء CUAs. على سبيل المثال، قدمت أداة استخدام الحاسوب من Claude التابعة لشركة Anthropic واجهة برمجة تطبيقات (API) عامة للنماذج للنظر إلى سطح المكتب والنقر داخل التطبيقات. وبالمثل، ظهر Operator من OpenAI كمعاينة بحثية قادرة على تنفيذ مهام تصفح ويب مفتوحة النهاية. يتم تقييم هذه الأنظمة الآن بشكل روتيني بناءً على معايير صارمة مثل WebArena و OSWorld لقياس قدرتها على إكمال سير عمل رقمي معقد ومتعدد الخطوات.

نظراً لأن هؤلاء الوكلاء يتمتعون بتحكم مباشر في النظام، يُنصح المطورون بشدة بتشغيلهم داخل أجهزة افتراضية معزولة لتقليل المخاطر مثل الإجراءات غير المقصودة أو حقن الأوامر الضارة.

Link to this sectionتطبيقات العالم الحقيقي#

تعمل وكلاء CUAs على تحويل الصناعات بسرعة من خلال تنفيذ مهام معقدة ومتعددة الخطوات عبر أنظمة برمجية منعزلة.

• ضمان الجودة الذاتي (QA): في اختبار أتمتة واجهة المستخدم الرسومية (GUI)، يمكن لوكلاء CUAs التنقل بصرياً عبر تطبيقات الويب، والنقر خلال سير عمل المستخدم، والتحقق من عناصر التخطيط دون الحاجة إلى نصوص برمجية للاختبار هشة. إذا تغير لون زر أو انتقل من مكانه، يتكيف الوكيل بشكل طبيعي.
• أتمتة العمليات الروبوتية القديمة: بالنسبة لتطبيقات سطح المكتب القديمة التي تفتقر إلى واجهات برمجة تطبيقات (APIs) حديثة، تعزز وكلاء CUAs أتمتة العمليات الروبوتية (RPA). يمكن للوكيل فتح نظام إدارة علاقات عملاء (CRM) قديم، وقراءة الفواتير غير المهيكلة، وكتابة البيانات المستخرجة يدوياً في النظام، مما يبسط إدخال البيانات في المؤسسات.

Link to this sectionبناء الإدراك لوكلاء CUAs#

بينما يمكن لنماذج VLM الكبيرة تحليل لقطات الشاشة بالكامل، فغالباً ما يكون من الأكثر كفاءة ودقة إقرانها بنماذج كشف الكائنات الموضعية. تقوم هذه النماذج بتخطيط عناصر واجهة المستخدم مثل الأزرار والأيقونات وحقول النص في الوقت الفعلي، مما يوفر إحداثيات دقيقة ليقوم الوكيل بالنقر عليها.

Developers can use frameworks like PyTorch alongside the Ultralytics YOLO26 model to build highly responsive perception layers for a CUA. The Ultralytics Platform can be utilized for model training on custom GUI datasets. The following Python snippet demonstrates how a CUA might use the ultralytics package's predict mode to find a button on the screen:

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

Link to this sectionوكلاء CUAs مقابل المفاهيم ذات الصلة#

يعد فهم كيفية توافق وكلاء استخدام الحاسوب (CUAs) مع نظام الذكاء الاصطناعي الأوسع أمراً ضرورياً لتنفيذ استراتيجيات تقسيم الإجراءات الصحيحة:

• مقابل Auto-GPT: بينما يعتبر Auto-GPT وكيلاً ذاتياً يعتمد في المقام الأول على توليد النصوص والنصوص البرمجية المحددة مسبقاً للتكرار عبر المهام، يتفاعل وكيل CUA بطبيعته مع الواجهات المرئية وأنظمة التشغيل مباشرة.
• مقابل استدعاء الوظائف (استخدام الأدوات): يسمح استدعاء الوظائف (استخدام الأدوات) للذكاء الاصطناعي بتنفيذ وظيفة كود خلفية محددة ومسبقة (مثل استرداد واجهة برمجة تطبيقات للطقس). في المقابل، تقوم وكلاء CUAs بتنفيذ إجراءات واجهة المستخدم الأمامية، مما يتلاعب بالبيئة الرقمية تماماً كما يفعل المستخدم النهائي.