Receiver Operating Characteristic (ROC) Curve

يُعد منحنى خاصية تشغيل المستقبل (ROC) أداةً رسومية أساسية تُستخدم لتقييم أداء نماذج التصنيف الثنائي. وفي مجال التعلّم الآلي (ML)، يصوّر المنحنى المفاضلة بين حساسية النموذج ونوعيته عبر جميع عتبات القرار الممكنة. وعلى خلاف المقاييس ذات القيمة المفردة مثل الدقة، التي قد تكون مضللة إذا كانت مجموعة البيانات غير متوازنة، يوفر منحنى ROC رؤية شاملة لكيفية تصرف المصنّف عندما تصبح معايير تحديد الحالات الإيجابية أكثر صرامة أو أقل صرامة. ويُعد هذا التصوير ضرورياً للمهندسين الذين يستخدمون تقنيات التعلّم الخاضع للإشراف لتحديد نقطة التشغيل المثلى لحالة الاستخدام الخاصة بهم.

تفسير المحاور والمفاضلات#

لفهم منحنى ROC، من الضروري النظر إلى المعلمتين المرسومتين مقابل بعضهما: معدل الإيجابيات الحقيقية (TPR) ومعدل الإيجابيات الكاذبة (FPR).

• معدل الإيجابيات الحقيقية (TPR): يُشار إلى هذا المقياس غالباً باسم الاستدعاء أو الحساسية، وهو يقيس على المحور y نسبة المشاهدات الإيجابية الفعلية التي حددها النموذج بشكل صحيح. ويعني ارتفاع TPR أن النظام نادراً ما يفوّت هدفاً.
• معدل الإيجابيات الكاذبة (FPR): يُرسم هذا المقياس على المحور x، ويمثل نسبة الحالات السلبية التي صُنّفت بشكل غير صحيح على أنها إيجابية، ويُعرف ذلك أيضاً باسم «إنذار كاذب».

يوضح المنحنى علاقة ديناميكية: فكلما خفّضت عتبة الثقة لالتقاط مزيد من الحالات الإيجابية (زيادة TPR)، زاد حتماً خطر الإبلاغ عن الحالات السلبية بشكل غير صحيح (زيادة FPR). وسيصل المصنّف المثالي إلى الزاوية العلوية اليسرى من الرسم البياني، مشيراً إلى حساسية بنسبة 100% وعدم وجود إنذارات كاذبة. أما النموذج الذي يخمّن عشوائياً فسيظهر على شكل خط قطري من أسفل اليسار إلى أعلى اليمين. وغالباً ما يُلخّص الأداء الإجمالي بواسطة المساحة تحت المنحنى (AUC)، حيث تمثل القيمة 1.0 أداءً مثالياً.

التطبيقات الواقعية#

يعتمد قرار تحديد موضع العتبة على منحنى ROC بالكامل على تكلفة الأخطاء في تطبيق صناعي محدد.

1. التشخيص الطبي: في الذكاء الاصطناعي في الرعاية الصحية، وتحديداً في مهام مثل اكتشاف الأورام ضمن تحليل الصور الطبية، قد تكون تكلفة تفويت حالة إيجابية (سلبية كاذبة) مهددة للحياة. لذلك، غالباً ما يختار الممارسون عتبة تزيد TPR إلى أقصى حد، حتى إن أدى ذلك إلى ارتفاع FPR، ما يعني احتمال الإبلاغ مبدئياً عن مزيد من المرضى الأصحاء لإجراء اختبارات إضافية.

2. اكتشاف الاحتيال المالي: عند استخدام الذكاء الاصطناعي في التمويل لمراقبة معاملات بطاقات الائتمان، يتعين على البنوك تحقيق توازن بين الأمان وتجربة العملاء. فإذا كان النظام حساساً أكثر من اللازم (TPR مرتفع)، فقد يحظر البطاقات المشروعة (FPR مرتفع)، مما يسبب إزعاجاً للمستخدمين. ويستخدم المحللون منحنى ROC للعثور على عتبة متوازنة تكتشف معظم عمليات الاحتيال مع إبقاء الإيجابيات الكاذبة عند حد أدنى مقبول.

توليد الاحتمالات لتحليل ROC#

لرسم منحنى ROC، تحتاج إلى احتمالات التنبؤ الأولية بدلاً من تسميات الفئات النهائية فقط. يستخدم المثال التالي نموذج YOLO26 المتطور لتوليد درجات التصنيف.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

بعد جمع هذه الاحتمالات لمجموعة تحقق، يمكن للمطورين استخدام مكتبات مثل Scikit-learn لحساب نقاط المنحنى. ولإدارة مجموعات البيانات وتتبع هذه المقاييس بمرور الوقت، توفر منصة Ultralytics أدوات مدمجة لتقييم النماذج ونشرها.

ROC مقارنةً بالمفاهيم ذات الصلة#

من المهم تمييز منحنى ROC عن أدوات التقييم الأخرى:

• مقارنةً بمنحنى الدقة والاستدعاء (PR): بينما يرسم ROC معدل الإيجابيات الحقيقية مقابل معدل الإيجابيات الكاذبة، يرسم منحنى الدقة والاستدعاء الدقة مقابل الاستدعاء. ويُفضَّل منحنى PR عموماً عندما تكون مجموعة البيانات غير متوازنة بشدة (مثل اكتشاف الحالات الشاذة النادرة)، إذ قد يعرض منحنى ROC أحياناً رؤية متفائلة أكثر من اللازم في مثل هذه السيناريوهات.
• مقارنةً بمصفوفة الالتباس: توفر مصفوفة الالتباس لقطةً لأداء النموذج عند عتبة محددة واحدة. وعلى النقيض، يصوّر منحنى ROC الأداء عبر جميع العتبات الممكنة، مما يجعله أداة أوسع لتحليل النمذجة التنبؤية قبل وضع قاعدة القرار النهائية.