Agent Evaluation

تقييم الوكيل هو الاختبار المنهجي لقدرة وكيل الذكاء الاصطناعي على إكمال الأهداف بأمان وبشكل صحيح وبكفاءة عبر تفاعل واحد أو أكثر. على عكس تقييم النموذج العادي، فإنه يفحص النظام الكامل: النموذج الأساسي، والتعليمات، والذاكرة، والأدوات، ومنطق التحكم، والبيئة. لذلك، لا يقتصر التقييم المفيد على التحقق مما يقوله وكيل الذكاء الاصطناعي في النهاية أو يغيره، بل يشمل أيضاً الإجراءات التي يتخذها على طول الطريق.

كيف يعمل تقييم الوكيل#

يبدأ التقييم بمهمة، مثل حل طلب دعم، أو فحص صورة منتج، أو تحديث سجل قاعدة بيانات. يحاول الوكيل تنفيذ المهمة داخل بيئة اختبار خاضعة للرقابة، مما ينتج عنه تتبع أو مسار: سجل بالرسائل، والنتائج الوسيطة، واستدعاءات الأدوات، وسيطات، وأخطاء، وتغييرات في الحالة.

يقوم المقيم بعد ذلك بمقارنة المحاولة مع معايير النجاح المحددة. وكما هو موضح في دليل تقييمات وكلاء الذكاء الاصطناعي الخاص بـ Anthropic، قد تكون أدوات التقييم برامج حتمية، أو قضاة يعتمدون على النماذج، أو مراجعين بشريين. تعمل الفحوصات الحتمية بشكل جيد مع النتائج القابلة للتحقق، مثل ما إذا تم إنشاء سجل أم لا. يمكن لمقيمين المعتمدين على النماذج تقييم صفات مثل الصلة أو النبرة، ولكن يجب معايرتها مقابل الأحكام البشرية.

تحتوي حزمة التقييم عادةً على العديد من المهام التمثيلية وقد تكرر كل مهمة عدة مرات لأن سلوك الوكيل يمكن أن يختلف بين عمليات التشغيل. يجب أيضاً تضمين إطار عمل الوكيل المحيط: فحتى تغيير وصف الأدوات، أو قواعد الذاكرة، أو منطق إعادة المحاولة يمكن أن يغير الأداء حتى عندما يظل النموذج الأساسي دون تغيير.

ما يقيسه تقييم الوكيل#

تجمع الحزمة الموثوقة بين عدة أبعاد بدلاً من ضغط الأداء في درجة واحدة:

• نجاح المهمة: هل وصلت البيئة إلى الحالة النهائية المطلوبة؟
• جودة استخدام الأدوات: هل اختار الوكيل الأداة الصحيحة، وقدم وسيطات صالحة، وفسر نتيجتها بدقة؟ تتضمن مقاييس تقييم الوكيل من Google مقاييس منفصلة للاستجابات النهائية، واستخدام الأدوات، والمسارات، والهلوسة، والسلامة.
• جودة المسار: هل كانت الإجراءات ذات صلة، ومرتبة بشكل صحيح، وفعالة بشكل معقول؟ قد تمثل الإجابة الصحيحة التي تم الوصول إليها من خلال خطوات غير آمنة أو مسرفة فشلاً.
• الموثوقية: ما مدى تكرار نجاح الوكيل عبر التجارب المتكررة، والطلبات الصياغة بأسلوب مختلف، والحالات الصعبة، وأعطال الأدوات؟
• السلامة والامتثال للسياسات: هل يحترم الصلاحيات، ويحمي البيانات الحساسة، ويطلب الموافقة قبل اتخاذ إجراءات ذات تبعات؟ يساعد إوجيهات تهديدات الذكاء الاصطناعي الوكيل الصادرة عن OWASP الفرق على تحديد المخاطر مثل الوكالة المفرطة وتفاعلات الأدوات غير الآمنة.
• الأداء التشغيلي: زمن الوصول، واستخدام الرموز المميزة، وعدد استدعاءات الأدوات، ومعدل الأخطاء، والتكلفة لكل مهمة مكتملة، وكلها أمور مهمة في الإنتاج.

توفر مجموعة البيانات الذهبية للمهام المراجعة، والنتائج المتوقعة، والحالات الحدية مرجعاً مستقراً. ومع ذلك، يجب استكمالها بحالات عدائية واخفاقات مستمدة من الإنتاج. يضع مركز موارد الذكاء الاصطناعي التابع لـ NIST الاختبار والتقييم والتحقق والتحقق من الصحة والقياس المستمر ضمن إدارة مخاطر الذكاء الاصطناعي الأوسع نطاقاً.

تقييم الوكيل مقابل المفاهيم ذات الصلة#

يعتبر تقييم الوكيل أوسع نطاقاً من تقييم النموذج، والذي يختبر عادةً مخرجات النموذج على مجموعة بيانات ثابتة. كما أنه يختلف عن الملاحظة وقابلية الرصد: حيث تسجل قابلية الرصد ما حدث في نظام حقيقي، بينما يطبق التقييم معايير لتحديد ما إذا كان هذا السلوك مقبولاً.

وبالمثل، يبحث فريق الاختراق الأحمر للذكاء الاصطناعي بنشاط عن الإخفاقات القابلة للاستغلال، بينما يقيس التقييم الروتيني القدرات المعروفة والانحدارات بشكل متكرر. تحدد سير عمل الوكلاء كيفية أداء المهام؛ ويختبر التقييم ما إذا كانت تدفقات العمل هذه تنتج نتائج يمكن الاعتماد عليها.

تظل اختبارات المكونات ذات قيمة. على سبيل المثال، إذا كان الوكيل يستخدم الرؤية من خلال استدعاء الوظائف واستخدام الأدوات، فيجب على المطورين التحقق من صحة نموذج الرؤية بشكل منفصل قبل تقييم حلقة اتخاذ القرار الكاملة.

from ultralytics import YOLO

# Load the agent's visual perception model
model = YOLO("yolo26n.pt")

# Evaluate it against labeled reference data
metrics = model.val(data="coco8.yaml", split="val")

# Report a useful component-level detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

يقيس سير عمل التحقق من YOLO من Ultralytics الموثق مكون الإدراك. وهو لا يحدد ما إذا كان الوكيل قد اختار الصورة الصحيحة، أو فسّر الاكتشافات بشكل صحيح، أو اتخذ الإجراء المناسب.

تطبيقات العالم الحقيقي#

• الفحص البصري للتصنيع: يلتقط الوكيل صورة منتج، ويستدعي كاشفاً، ويتحقق من قواعد الجودة، ويوجه العناصر غير المؤكدة للمراجعة البشرية. يمكن للتقييم التحقق من دقة اكتشاف العيوب، ووسيطات الأدوات الصحيحة، وسلوك التصعيد، وما إذا كانت المنتجات المرفوضة تدخل فعلياً في قائمة انتظار الفحص.

• وكلاء الصوت لخدمة العملاء: قد يقوم وكيل صوتي بمصادقة المتصل، واسترداد معلومات الحساب، ومعالجة طلب عبر دورات متعددة. يجب أن تتنوع الاختبارات في اللهجات، والمقاطعات، والتعليمات الغامضة، وانقطاعات الأدوات مع قياس إنجاز المهام، والجودة المحادثية، والإجراءات غير المصرح بها، وزمن الوصول. يصف سير عمل تقييم الوكيل من Google تقييم عمليات التتبع الكاملة بدلاً من الاستجابات النهائية وحدها.

بناء عملية تقييم عملية#

ابدأ بمجموعة صغيرة من المهام العادية، والحالات الحدية المهمة، والإخفاقات التي لوحظت سابقاً. حدد شروط النجاح القابلة للملاحظة قبل تشغيل الوكيل، ثم ادمج الفحوصات الحتمية مع مراجعة بشرية قائمة على المعايير وبشكل دوري. أعد تشغيل مجموعة الاختبارات كلما تغيرت المطالبات، أو النماذج، أو الأدوات، أو مهارات الوكيل.

بعد نشر النظام، اربط اختبارات عدم الاتصال بمراجعة الآثار المعاينة ومراقبة النموذج. بالنسبة للوكلاء المدعومين بالرؤية، تدعم منصة Ultralytics تعليق مجموعة البيانات، وتدريب النموذج، والنشر، ومراقبة خدمات الإدراك التي يستدعيها الوكلاء. التقييم الفعال مستمر: تصبح إخفاقات الإنتاج حالات اختبار جديدة، ويجب أن يظهر كل تغيير في النظام تحسناً دون كسر السلوك المؤسس.