Computer Use Agents (CUAs)

تمثل وكلاء استخدام الحاسوب (CUAs) قفزة نوعية في كيفية تفاعل أنظمة الذكاء الاصطناعي مع البيئات الرقمية. وخلافاً لـ وكلاء الذكاء الاصطناعي التقليديين الذين يعتمدون حصرياً على واجهات برمجة التطبيقات (APIs) الخلفية أو المطالبات النصية، تم تصميم CUA للتفاعل مع واجهة المستخدم الرسومية (GUI) تماماً كما يفعل الإنسان. من خلال مراقبة الشاشة، وتحريك المؤشر، والنقر على العناصر، والكتابة على لوحة مفاتيح افتراضية، تسد هذه الوكلاء الفجوة بين قدرات الذكاء الاصطناعي التوليدي المجردة وعمليات البرمجيات العملية اليومية.

غالباً ما يُنظر إلى هذا التطور كخطوة نحو الذكاء الاصطناعي العام (AGI)، حيث يتحدى القيود التاريخية لذكاء الآلة - وهو ما يُشار إليه أحياناً بـ مفارقة مورافيك - من خلال مطالبة الذكاء الاصطناعي بإدراك البيئات المرئية الفريدة والتنقل فيها بسلاسة.

Link to this sectionالتحول نحو الواجهات المرئية#

تاريخياً، كانت أتمتة المهام عبر تطبيقات برمجية مختلفة تتطلب عمليات تكامل مباشرة أو تحليلاً صارماً لنموذج كائن المستند (DOM). ومع ذلك، يستخدم الجيل الأحدث من وكلاء CUA نماذج الرؤية واللغة (VLM) المتقدمة وتقنيات الرؤية الحاسوبية (CV) المتطورة لتفسير وحدات البكسل على الشاشة.

أدت الاختراقات الكبيرة بين أواخر عام 2024 وأوائل عام 2025 إلى تسريع اعتماد تقنية CUA. على سبيل المثال، قدمت أداة استخدام الحاسوب من Claude التابعة لشركة Anthropic واجهة برمجة تطبيقات عامة للنماذج للنظر إلى سطح المكتب والنقر عبر التطبيقات. وبالمثل، ظهر Operator من OpenAI كمعاينة بحثية قادرة على تنفيذ مهام تصفح الويب المفتوحة. يتم الآن تقييم هذه الأنظمة بشكل روتيني على معايير صارمة مثل WebArena وOSWorld لقياس قدرتها على إكمال سير العمل الرقمي المعقد ومتعدد الخطوات.

نظراً لأن هؤلاء الوكلاء يتمتعون بتحكم مباشر في النظام، يُنصح المطورون بشدة بتشغيلهم داخل أجهزة افتراضية معزولة لتقليل المخاطر مثل الإجراءات غير المقصودة أو حقن المطالبات الضارة.

Link to this sectionالتطبيقات الواقعية#

تُحدث وكلاء CUA تحولاً سريعاً في الصناعات من خلال تنفيذ مهام معقدة ومتعددة الخطوات عبر أنظمة برمجية معزولة.

• ضمان الجودة الذاتي (QA): في اختبار أتمتة واجهة المستخدم الرسومية، يمكن لوكلاء CUA التنقل بصرياً عبر تطبيقات الويب، والنقر خلال مسارات عمل المستخدم، والتحقق من عناصر التخطيط دون الحاجة إلى نصوص برمجية اختبارية هشة. إذا تغير لون الزر أو انتقل من مكانه، يتكيف الوكيل بشكل طبيعي.
• أتمتة العمليات الروبوتية القديمة: بالنسبة لتطبيقات سطح المكتب القديمة التي تفتقر إلى واجهات برمجة تطبيقات حديثة، تعزز وكلاء CUA أتمتة العمليات الروبوتية (RPA). يمكن للوكيل فتح نظام إدارة علاقات عملاء (CRM) قديم، وقراءة الفواتير غير المنظمة، وكتابة البيانات المستخرجة يدوياً في النظام، مما يسهل عملية إدخال البيانات في المؤسسات.

Link to this sectionبناء الإدراك لوكلاء CUA#

بينما يمكن لنماذج VLM الكبيرة تحليل لقطات الشاشة بالكامل، غالباً ما يكون من الأكثر كفاءة ودقة إقرانها بنماذج اكتشاف الكائنات الموضعية. تقوم هذه النماذج برسم خرائط لـ عناصر واجهة المستخدم مثل الأزرار والأيقونات وحقول النص في الوقت الفعلي، مما يوفر إحداثيات دقيقة ليقوم الوكيل بالنقر عليها.

Developers can use frameworks like PyTorch alongside the Ultralytics YOLO26 model to build highly responsive perception layers for a CUA. The Ultralytics Platform can be utilized for model training on custom GUI datasets. The following Python snippet demonstrates how a CUA might use the ultralytics package's predict mode to find a button on the screen:

from ultralytics import YOLO

# Initialize a YOLO26 model specifically trained to detect GUI components
model = YOLO("yolo26n-gui.pt")

# The CUA captures a screenshot and maps out the visual interface
results = model.predict("desktop_screenshot.png")

# The agent extracts coordinates to execute a physical action (e.g., mouse click)
for box in results[0].boxes:
    if model.names[int(box.cls)] == "button":
        x1, y1, x2, y2 = box.xyxy[0].tolist()
        print(f"CUA Action: Moving cursor to center of button at ({(x1 + x2) / 2}, {(y1 + y2) / 2})")

Link to this sectionوكلاء CUA مقابل المفاهيم ذات الصلة#

يعد فهم كيفية ملاءمة وكلاء استخدام الحاسوب للنظام البيئي الأوسع للذكاء الاصطناعي أمراً ضرورياً لتنفيذ استراتيجيات تجزئة الإجراءات الصحيحة:

• مقابل Auto-GPT: بينما يعد Auto-GPT وكيلاً ذاتياً يعتمد بشكل أساسي على توليد النصوص والنصوص البرمجية المحددة مسبقاً للتكرار عبر المهام، يتفاعل وكيل CUA بطبيعته مع الواجهات المرئية وأنظمة التشغيل مباشرة.
• مقابل استدعاء الوظائف (استخدام الأدوات): يسمح استدعاء الوظائف (استخدام الأدوات) للذكاء الاصطناعي بتنفيذ وظيفة كود خلفية محددة ومعدة مسبقاً (مثل استرداد واجهة برمجة تطبيقات الطقس). في المقابل، تقوم وكلاء CUA بتنفيذ إجراءات واجهة المستخدم الأمامية، مما يعالج البيئة الرقمية تماماً كما يفعل المستخدم النهائي.