Area Under the Curve (AUC)

مساحة تحت المنحنى (AUC) هي مقياس أداء شامل يُستخدم في machine learning (ML) لتقييم قوة التمييز لنموذج التحديد. على وجه التحديد، تقيس المساحة ثنائية الأبعاد الواقعة تحت Receiver Operating Characteristic (ROC) curve، مما يوفر قيمة قياسية واحدة تتراوح من 0 إلى 1. تشير قيمة AUC البالغة 1.0 إلى نموذج تحديد مثالي، بينما تشير قيمة AUC البالغة 0.5 إلى أن أداء النموذج لا يتجاوز الصدفة العشوائية. ونظراً لأنه يجمع الأداء عبر جميع عتبات التحديد الممكنة، فإن AUC فعال بشكل خاص في تقييم قدرات predictive modeling في السيناريوهات التي تكون فيها حدود القرار المثلى غير معروفة أو متغيرة.

العلاقة بين ROC و AUC#

لفهم AUC تماماً، يجب على المرء فهم منحنى ROC الأساسي. يوضح هذا الرسم البياني True Positive Rate (Recall) مقابل False Positive Rate عند إعدادات عتبة مختلفة. يحدد AUC بشكل أساسي احتمالية أن يقوم النموذج بترتيب حالة إيجابية مختارة عشوائياً بشكل أعلى من حالة سلبية مختارة عشوائياً.

• القابلية للفصل: تقيس AUC مدى جودة تمييز النموذج بين الفئات (على سبيل المثال، "كلب" مقابل "قطة"). تعني القابلية الأعلى للفصل تنبؤات أفضل.
• ثبات العتبة: على عكس F1-score، الذي يعتمد على نقطة قطع محددة، يوفر AUC نظرة عامة واسعة على جودة النموذج.
• ثبات المقياس: تقيس مدى جودة ترتيب التنبؤات، بدلاً من قيم الاحتمالية المطلقة لها.

تطبيقات العالم الحقيقي#

يُعد AUC مقيماً مفضلاً في الصناعات التي تتعامل مع اتخاذ القرارات الحرجة وimbalanced datasets، حيث تكون إحدى الفئات أندر بكثير من الأخرى.

1. التشخيص الطبي: في مجال AI in healthcare، يتم تدريب النماذج لتحديد الأمراض من خلال medical image analysis. على سبيل المثال، يجب على النموذج الذي يكتشف الأورام النادرة إعطاء الأولوية لـ sensitivity. تضمن قيمة AUC العالية أن النظام يخصص موثوقية لدرجات مخاطر أعلى للمرضى الفعليين مقارنة بالأفراد الأصحاء، مما يقلل من السلبيات الكاذبة الخطيرة.

2. اكتشاف الاحتيال المالي: تستخدم المؤسسات المالية AI in finance لرصد المعاملات الاحتيالية. نظراً لأن المعاملات المشروعة تفوق بكثير المعاملات الاحتيالية، يمكن للنموذج تحقيق دقة بنسبة 99% ببساطة عن طريق وصف كل شيء بأنه "مشروع". يمنع AUC ذلك من خلال تقييم مدى جودة فصل النموذج لمحاولات الاحتيال الفعلية عن السلوك الطبيعي، بغض النظر عن توزيع الفئات.

التمييز بين AUC والمقاييس ذات الصلة#

من الضروري التمييز بين AUC ورؤى model evaluation insights الأخرى لاختيار الأداة المناسبة لمشروعك.

• AUC مقابل الدقة: Accuracy هي ببساطة نسبة التنبؤات الصحيحة إلى إجمالي التنبؤات. على مجموعات البيانات المتحيزة للغاية، يمكن أن تكون الدقة مضللة في ارتفاعها. يتحمل AUC تأثير عدم التوازن في الفئات، مما يوفر تقييمًا أكثر مصداقية لأداء المصنف.
• AUC مقابل الدقة والاسترجاع: بينما يعتبر ROC-AUC معياراً للنتائج المتوازنة، غالباً ما يُفضل استخدام المساحة تحت منحنى الدقة والاسترجاع (AUPRC) عندما تكون الفئة "الإيجابية" نادرة للغاية وتكون الإيجابيات الكاذبة مصدر قلق رئيسي.
• AUC مقابل mAP: في مهام object detection باستخدام نماذج مثل YOLO26، المقياس القياسي هو Mean Average Precision (mAP). في حين أن mAP يتشابه من الناحية المفاهيمية -حيث يحسب المساحة الواقعة تحت منحنى الدقة والاستدعاء عبر عتبات تقاطع الاتحاد (IoU) المختلفة- إلا أن AUC يشير حصريًا إلى منحنى ROC في التصنيف الثنائي أو متعدد الفئات.

مثال برمجي#

يوضح المثال التالي كيفية تحميل نموذج تصنيف YOLO26 مدرب مسبقًا وتشغيل التحقق من الصحة. بينما تبلغ نماذج YOLO أساساً عن الدقة من الفئة الأولى والخامسة، تولد عملية التحقق بيانات التنبؤ اللازمة لتحليل المقاييس المستندة إلى المنحنى.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

لإدارة دورة الحياة الشاملة، بما في ذلك تعليق مجموعات البيانات والتدريب السحابي حيث يتم تصور هذه المقاييس تلقائيًا، يمكن للمطورين الاستفادة من Ultralytics Platform. يعمل هذا على تبسيط عملية تفسير المقاييس المعقدة مثل AUC دون حساب يدوي.