Area Under the Curve (AUC)

تُعدّ المساحة تحت المنحنى (AUC) مقياسًا شاملًا للأداء يُستخدم في التعلم الآلي (ML) لتقييم القدرة التمييزية لنموذج تصنيف. وعلى وجه التحديد، تقيس المساحة ثنائية الأبعاد الواقعة أسفل منحنى خاصية تشغيل المستقبل (ROC)، مقدمةً قيمة عددية واحدة تتراوح من 0 إلى 1. وتشير قيمة AUC البالغة 1.0 إلى مُصنِّف مثالي، بينما تشير قيمة AUC البالغة 0.5 إلى أن أداء النموذج لا يتجاوز أداء التخمين العشوائي. ونظرًا إلى أنها تجمع الأداء عبر جميع عتبات التصنيف الممكنة، تُعدّ AUC فعّالة بوجه خاص في تقييم قدرات النمذجة التنبؤية في السيناريوهات التي تكون فيها حدود القرار المثلى غير معروفة أو متغيرة.

العلاقة بين ROC وAUC#

لفهم AUC فهمًا كاملًا، يجب استيعاب منحنى ROC الأساسي. يرسم هذا المخطط معدل الإيجابيات الحقيقية (الاستدعاء) مقابل معدل الإيجابيات الكاذبة عند إعدادات عتبة مختلفة. وتحدد AUC أساسًا احتمال أن يرتب النموذج عينة موجبة مختارة عشوائيًا بدرجة أعلى من عينة سالبة مختارة عشوائيًا.

• قابلية الفصل: تقيس AUC مدى نجاح النموذج في التمييز بين الفئات (مثل "كلب" مقابل "قطة"). وتعني قابلية الفصل الأعلى تنبؤات أفضل.
• الثبات تجاه العتبة: بخلاف درجة F1، التي تعتمد على نقطة قطع محددة، تقدم AUC نظرة عامة واسعة على جودة النموذج.
• الثبات تجاه المقياس: تقيس مدى جودة ترتيب التنبؤات، بدلًا من قياس قيم الاحتمالات المطلقة لها.

التطبيقات الواقعية#

تُعدّ AUC مقياسًا مفضلًا في الصناعات التي تتعامل مع اتخاذ القرارات الحرجة ومجموعات البيانات غير المتوازنة، حيث تكون إحدى الفئات أندر بكثير من الأخرى.

1. التشخيص الطبي: في مجال الذكاء الاصطناعي في الرعاية الصحية، تُدرَّب النماذج على تحديد الأمراض من تحليل الصور الطبية. فعلى سبيل المثال، يجب على نموذج يكتشف الأورام النادرة أن يعطي الأولوية لـالحساسية. وتضمن AUC المرتفعة أن يُسنِد النظام بشكل موثوق درجات مخاطر أعلى إلى المرضى الفعليين مقارنةً بالأفراد الأصحاء، مما يقلل من السلبيات الكاذبة الخطرة.

2. اكتشاف الاحتيال المالي: تستخدم المؤسسات المالية الذكاء الاصطناعي في التمويل لاكتشاف المعاملات الاحتيالية. وبما أن المعاملات المشروعة تفوق المعاملات الاحتيالية عددًا بفارق شاسع، فقد يحقق النموذج دقة تبلغ 99% بمجرد اعتبار كل شيء "مشروعًا". وتمنع AUC ذلك من خلال تقييم مدى نجاح النموذج في الفصل بين محاولات الاحتيال الفعلية والسلوك الطبيعي، بغض النظر عن توزيع الفئات.

تمييز AUC عن المقاييس ذات الصلة#

من الضروري التمييز بين AUC وغيرها من الرؤى المتعلقة بتقييم النماذج لاختيار الأداة المناسبة لمشروعك.

• AUC مقابل الدقة: الدقة هي ببساطة نسبة التنبؤات الصحيحة إلى إجمالي التنبؤات. وفي مجموعات البيانات شديدة الانحراف، قد تبدو الدقة مرتفعة على نحو مضلل. وتتميز AUC بمتانتها تجاه عدم توازن الفئات، مما يوفر تقييمًا أكثر صدقًا لأداء المُصنِّف.
• AUC مقابل الدقة والاستدعاء: في حين تُعدّ ROC-AUC معيارًا للنتائج المتوازنة، غالبًا ما يُفضَّل [المساحة تحت منحنى الدقة والاستدعاء (AUPRC)] عندما تكون الفئة "الموجبة" نادرة للغاية وتكون الإيجابيات الكاذبة مصدر قلق رئيسيًا.
• AUC مقابل mAP: في مهام اكتشاف الكائنات باستخدام نماذج مثل YOLO26، يكون المقياس القياسي هو متوسط الدقة المتوسطة (mAP). وعلى الرغم من أن mAP مشابه مفاهيميًا — إذ يحسب المساحة تحت منحنى الدقة والاستدعاء عبر عتبات مختلفة لـ[التقاطع على الاتحاد (IoU)] — فإن AUC تشير تحديدًا إلى منحنى ROC في تصنيف ثنائي أو متعدد الفئات.

مثال على التعليمات البرمجية#

يوضح المثال التالي كيفية تحميل نموذج تصنيف YOLO26 مُدرَّب مسبقًا وإجراء عملية التحقق. وعلى الرغم من أن نماذج YOLO تعرض أساسًا دقة أعلى-1 وأعلى-5، فإن عملية التحقق تُنشئ بيانات التنبؤ اللازمة لتحليل المقاييس القائمة على المنحنيات.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

لإدارة دورة الحياة بصورة شاملة، بما في ذلك وسم مجموعات البيانات والتدريب السحابي حيث تُعرض هذه المقاييس تلقائيًا، يمكن للمطورين استخدام منصة Ultralytics. ويبسّط ذلك عملية تفسير المقاييس المعقدة مثل AUC دون الحاجة إلى الحساب اليدوي.