Area Under the Curve (AUC)

المساحة تحت المنحنى (AUC) هي مقياس أداء شامل يُستخدم في تعلم الآلة (ML) لتقييم القدرة التمييزية لنموذج التصنيف. وبشكل محدد، فهي تقيس المساحة ثنائية الأبعاد الموجودة تحت منحنى خاصية تشغيل المستقبل (ROC)، مما يوفر قيمة قياسية واحدة تتراوح من 0 إلى 1. تشير قيمة AUC البالغة 1.0 إلى مصنف مثالي، بينما تشير قيمة 0.5 إلى أن أداء النموذج لا يتجاوز الصدفة العشوائية. ونظراً لأنها تجمع الأداء عبر جميع عتبات التصنيف الممكنة، فإن AUC فعالة بشكل خاص لتقييم قدرات النمذجة التنبؤية في السيناريوهات التي يكون فيها حد القرار الأمثل غير معروف أو متغيراً.

Link to this sectionالعلاقة بين ROC و AUC#

لفهم AUC تماماً، يجب على المرء فهم منحنى ROC الأساسي. يرسم هذا الرسم البياني معدل الإيجابيات الحقيقية (الاسترجاع) مقابل معدل الإيجابيات الكاذبة عند إعدادات عتبة مختلفة. تقيس AUC في جوهرها احتمال أن يقوم النموذج بترتيب حالة إيجابية مختارة عشوائياً بشكل أعلى من حالة سلبية مختارة عشوائياً.

• القابلية للفصل: تقيس AUC مدى جودة تمييز النموذج بين الفئات (على سبيل المثال، "كلب" مقابل "قطة"). تعني القابلية الأعلى للفصل تنبؤات أفضل.
• ثبات العتبة: على عكس مقياس F1، الذي يعتمد على نقطة قطع محددة، توفر AUC نظرة عامة واسعة على جودة النموذج.
• ثبات المقياس: تقيس مدى جودة ترتيب التنبؤات، بدلاً من قيم الاحتمالية المطلقة لها.

Link to this sectionتطبيقات العالم الحقيقي#

تعتبر AUC مقياساً مفضلاً في الصناعات التي تتعامل مع اتخاذ القرارات الحاسمة ومجموعات البيانات غير المتوازنة، حيث تكون إحدى الفئات نادرة بشكل ملحوظ مقارنة بالأخرى.

1. التشخيص الطبي: في مجال الذكاء الاصطناعي في الرعاية الصحية، يتم تدريب النماذج لتحديد الأمراض من تحليل الصور الطبية. على سبيل المثال، يجب على النموذج الذي يكتشف الأورام النادرة إعطاء الأولوية لـ الحساسية. تضمن قيمة AUC العالية أن النظام يعيّن بشكل موثوق درجات مخاطر أعلى للمرضى الفعليين مقارنة بالأفراد الأصحاء، مما يقلل من النتائج السلبية الكاذبة الخطيرة.

2. كشف الاحتيال المالي: تستخدم المؤسسات المالية الذكاء الاصطناعي في التمويل لرصد المعاملات الاحتيالية. نظراً لأن المعاملات المشروعة تفوق بكثير المعاملات الاحتيالية، يمكن للنموذج تحقيق دقة بنسبة 99% ببساطة عن طريق وصف كل شيء بأنه "مشروع". تمنع AUC حدوث ذلك من خلال تقييم مدى جودة فصل النموذج لمحاولات الاحتيال الفعلية عن السلوك الطبيعي، بغض النظر عن توزيع الفئات.

Link to this sectionالتمييز بين AUC والمقاييس ذات الصلة#

من الضروري التمييز بين AUC وغيرها من رؤى تقييم النماذج لاختيار الأداة المناسبة لمشروعك.

• AUC مقابل الدقة: الدقة هي ببساطة نسبة التنبؤات الصحيحة إلى إجمالي التنبؤات. في مجموعات البيانات المائلة للغاية، يمكن أن تكون الدقة عالية بشكل مضلل. تتميز AUC بالقوة في مواجهة اختلال توازن الفئات، مما يوفر تقييماً أكثر صدقاً لأداء المصنف.
• AUC مقابل الدقة والاسترجاع: بينما يعتبر ROC-AUC معياراً للنتائج المتوازنة، غالباً ما يُفضل استخدام المساحة تحت منحنى الدقة والاسترجاع (AUPRC) عندما تكون الفئة "الإيجابية" نادرة للغاية وتكون الإيجابيات الكاذبة مصدر قلق رئيسي.
• AUC مقابل mAP: في مهام اكتشاف الكائنات باستخدام نماذج مثل YOLO26، المقياس القياسي هو متوسط الدقة (mAP). في حين أن mAP مشابه من الناحية المفاهيمية—حيث يحسب المساحة تحت منحنى الدقة والاسترجاع عبر عتبات مختلفة لـ IoU—فإن AUC تشير بدقة إلى منحنى ROC في التصنيف الثنائي أو متعدد الفئات.

Link to this sectionمثال برمجي#

يوضح المثال التالي كيفية تحميل نموذج تصنيف YOLO26 مُدرب مسبقاً وتشغيل التحقق. بينما تبلغ نماذج YOLO بشكل أساسي عن دقة top-1 و top-5، فإن عملية التحقق تولد بيانات التنبؤ اللازمة لتحليل المقاييس المستندة إلى المنحنى.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

لإدارة دورة الحياة الشاملة، بما في ذلك تعليق بيانات مجموعة البيانات والتدريب السحابي حيث يتم تصور هذه المقاييس تلقائياً، يمكن للمطورين استخدام منصة Ultralytics. هذا يبسط عملية تفسير المقاييس المعقدة مثل AUC دون الحاجة إلى حساب يدوي.