Area Under the Curve (AUC)

المساحة تحت المنحنى (AUC) مقياس يلخص مدى نجاح المصنف الثنائي في التمييز بين فئتين عبر جميع عتبات القرار الممكنة. وفي تعلم الآلة، تعني AUC غالبًا المساحة تحت منحنى خاصية تشغيل المستقبل (ROC)، ويُكتب الاختصار أيضًا ROC AUC أو AUROC. وتساوي قيمتها احتمال أن يمنح النموذج مثالًا موجبًا مختارًا عشوائيًا درجة أعلى من مثال سالب مختار عشوائيًا. وتعني AUC بقيمة 1.0 أن كل الأمثلة الموجبة تتقدم على السالبة، وتعني 0.5 أن الترتيب لا يتجاوز مستوى المصادفة، أما القيم الأقل من 0.5 فتعني أن الترتيب معكوس. ولأنها تعتمد على ترتيب الدرجات وحده، فإن AUC تقيّم النموذج قبل أن يختار أي شخص عتبة، ما يجعلها مقياسًا قياسيًا لـنماذج التشخيص الطبي والتقييم الائتماني واكتشاف الاحتيال.

كيفية حساب AUC#

يرسم منحنى ROC معدل الإيجابيات الحقيقية، أي الاستدعاء، مقابل معدل الإيجابيات الكاذبة، أي نسبة السلبيات التي رُصدت خطأً، مع انتقال عتبة القرار من أعلى درجة إلى أدناها. فالعتبة الأعلى من جميع الدرجات لا ترصد شيئًا، وتمثل النقطة (0, 0)؛ والعتبة الأدنى من جميع الدرجات ترصد كل شيء، وتمثل النقطة (1, 1). وتساوي AUC المساحة تحت الخط الواصل بين جميع النقاط، وتحسب عادةً بقاعدة شبه المنحرف.

يمكن الوصول إلى القيمة نفسها بحساب الأزواج. إذ تنتج مقارنة كل مثال موجب بكل مثال سالب، ومنح كل زوج درجة 1 إذا جاء الموجب في مرتبة أعلى، و0.5 عند التعادل، و0 خلاف ذلك، قيمة ROC AUC نفسها تمامًا؛ وهي كمية يعرفها الإحصائيون باسم إحصاء Mann-Whitney U المعياري، ويعرفها الباحثون الطبيون باسم إحصاء التوافق أو c-statistic. وغالبًا ما تورد فرق مخاطر الائتمان معامل جيني بدلًا منها، وهو يساوي 2 × AUC − 1.

يوضح منظور الأزواج الخصائص الرئيسية لـAUC. فأي تحويل يحافظ على ترتيب الدرجات، مثل تربيع الاحتمالات أو تطبيق تحجيم درجة الحرارة على قيم logits لمصنف ثنائي، لا يغير AUC؛ لذا قد يحقق النموذج قيمة AUC ممتازة واحتمالات سيئة المعايرة. وتتطلب المعايرة مقياسًا منفصلًا مثل درجة Brier.

ROC AUC وPR AUC مع البيانات غير المتوازنة#

لا تعتمد ROC AUC على نسبة الفئات، لأن معدل الإيجابيات الحقيقية يحسب بين الأمثلة الموجبة فقط، ومعدل الإيجابيات الكاذبة بين الأمثلة السالبة فقط. وتصبح هذه الخاصية نقطة ضعف عندما تكون الإيجابيات نادرة. فعندما يكون هناك مثال موجب واحد من بين 100، ينتج عن معدل إيجابيات كاذبة قدره 5% نحو خمسة إنذارات كاذبة لكل مثال موجب حقيقي، ومع ذلك لا يؤثر ذلك كثيرًا في منحنى ROC. أما المساحة تحت منحنى الدقة والاستدعاء (PR AUC)، التي تلخص عادةً بمتوسط الدقة (AP)، فترسم الدقة مقابل الاستدعاء وتكشف هذه الإنذارات الكاذبة مباشرةً، ما يجعلها أكثر إفادة من منحنى ROC مع البيانات غير المتوازنة. ويقيّم البرنامج النصي أدناه باستخدام scikit-learn نموذجًا واحدًا بالطريقتين:

from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import average_precision_score, roc_auc_score
from sklearn.model_selection import train_test_split

# Imbalanced binary problem: 1 positive per 100 samples
X, y = make_classification(n_samples=20_000, weights=[0.99], flip_y=0, random_state=0)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, stratify=y, random_state=0)

# Score the test set with a simple classifier
model = LogisticRegression(max_iter=1000).fit(X_train, y_train)
scores = model.predict_proba(X_test)[:, 1]

# The same scores summarized by the areas under two different curves
print(f"Positives in test set: {y_test.sum()} of {len(y_test)}")
print(f"ROC AUC: {roc_auc_score(y_test, scores):.3f}")
print(f"PR AUC (average precision): {average_precision_score(y_test, scores):.3f}")

من بين 10,000 عينة اختبار، منها 100 عينة موجبة، يحقق النموذج ROC AUC تبلغ 0.911، لكن متوسط دقته لا يتجاوز 0.462. كما تختلف القيمتان المرجعيتان للمقياسين: إذ يحقق الترتيب العشوائي ROC AUC قدرها 0.5 بصرف النظر عن توازن الفئات، بينما يساوي متوسط دقته نسبة الأمثلة الموجبة، وهي 0.01 في هذه الحالة.

AUC متعددة الفئات واكتشاف الكائنات#

تُعرّف ROC AUC لفئتين. أما مع عدد أكبر من الفئات، فتحسب دالة roc_auc_score في scikit-learn متوسط قيم AUC بطريقة واحد مقابل البقية، حيث تقيّم كل فئة مقابل جميع الفئات الأخرى، أو بطريقة واحد مقابل واحد على كل زوج من الفئات، مع استخدام متوسط كلي أو متوسط موزون بحسب انتشار الفئات.

لا يمكن استخدام منحنيات ROC في اكتشاف الكائنات، لأن الأمثلة السالبة تشمل جميع مواضع الصناديق التي لا تحتوي كائنًا، وهي مجموعة غير محدودة عمليًا ولا تتيح حساب معدل إيجابيات كاذبة ذي معنى. وتستخدم مقاييس الاكتشاف بدلًا من ذلك المساحات تحت منحنيات الدقة والاستدعاء. ويحسب التحقق في YOLO26 ضمن Ultralytics متوسط دقة كل فئة بوصفه المساحة تحت غلاف الدقة والاستدعاء الخاص بها، مع أخذ عينات عند 101 نقطة للاستدعاء كما في تقييم COCO، ثم يحسب متوسط هذه المساحات للحصول على متوسط الدقة المتوسط (mAP) عند عتبات IoU من 0.50 إلى 0.95.

AUC والمصطلحات ذات الصلة#

• الدقة الإجمالية: تقيس التنبؤات الصحيحة عند عتبة واحدة، وقد تبدو ممتازة مع البيانات غير المتوازنة رغم تفويتها جميع الأمثلة الموجبة. أما AUC فتقيس الترتيب عبر جميع العتبات.
• درجة F1: تجمع الدقة والاستدعاء عند عتبة واحدة، لذا تقيّم نقطة تشغيل واحدة، بينما تلخص AUC جميع النقاط.
• مصفوفة الالتباس: تحصي الإيجابيات الحقيقية والكاذبة والسلبيات الحقيقية والكاذبة عند عتبة واحدة. وتمثل كل نقطة في ROC مصفوفة التباس واحدة على شكل زوج من المعدلات.
• متوسط الدقة: المساحة تحت منحنى الدقة والاستدعاء، وهو الملخص المعتاد عندما تكون الأمثلة الموجبة نادرة، والمكوّن الأساسي لـmAP.
• AUC الجزئية: المساحة ضمن نطاق محدود من معدل الإيجابيات الكاذبة، مثل 0 إلى 0.1، وتُستخدم عندما لا تُقبل إلا معدلات منخفضة للإنذارات الكاذبة، كما في برامج الفحص الكبيرة التي يؤدي فيها كل إنذار كاذب إلى فحص متابعة.