Receiver Operating Characteristic (ROC) Curve

مُحْوِنُ الخصائص التشغيلية للاستقبال (ROC) هو أداة رسومية أساسية تُستخدم لتقييم أداء نماذج التصنيف الثنائي. في مجال machine learning (ML)، يعرض هذا المخطط العلاقة التبادلية بين حساسية النموذج وخصائصه عبر جميع عتبات القرار الممكنة. على عكس المقاييس أحادية القيمة مثل accuracy، والتي يمكن أن تكون مضللة إذا كانت مجموعة البيانات غير متوازنة، يوفر منحنى ROC نظرة شاملة لكيفية تصرف المصنف كلما أصبحت معايير تحديد الحالات الإيجابية أكثر أو أقل صرامة. يُعد هذا التمثيل المرئي ضروريًا للمهندسين الذين يستخدمون تقنيات supervised learning لتحديد نقطة التشغيل المثالية لحالة الاستخدام الخاصة بهم.

تفسير المحاور والمقايضات#

لفهم منحنى ROC، من الضروري النظر إلى المعلمتين اللتين يتم رسمهما مقابل بعضهما البعض: معدل الإيجابيات الحقيقية (TPR) ومعدل الإيجابيات الكاذبة (FPR).

• معدل الإيجابيات الحقيقية (TPR): يُشار إليه غالبًا باسم Recall أو الحساسية، ويقيس هذا المقياس على المحور الصادي نسبة الملاحظات الإيجابية الفعلية التي حددها النموذج بشكل صحيح. تعني قيمة TPR العالية أن النظام نادرًا ما يخطئ في رصد الهدف.
• معدل الإيجابيات الكاذبة (FPR): يتم تمثيله على المحور السيني، ويمثل نسبة الحالات السلبية التي تم تصنيفها بشكل غير صحيح على أنها إيجابية، وهو ما يُعرف أيضاً بـ "الإنذار الكاذب".

يوضح المنحنى علاقة ديناميكية: كلما خفضت عتبة confidence لالتقاط المزيد من الحالات الإيجابية (مما يؤدي إلى زيادة معدل TPR)، فإنك تزيد حتمًا من مخاطر الإشارة إلى الحالات السلبية بشكل غير صحيح (مما يؤدي إلى زيادة معدل FPR). سيصل المصنف المثالي إلى الزاوية العلوية اليسرى من الرسم البياني، مما يشير إلى حساسية بنسبة 100% وإنذارات كاذبة بنسبة 0%. أما النموذج الذي يقوم بتخمينات عشوائية فسوف يظهر على شكل خط قطري من الأسفل إلى اليسار وحتى الأعلى إلى اليمين. وعادة ما يتم تلخيص الأداء العام بواسطة Area Under the Curve (AUC)، حيث تمثل القيمة 1.0 الكمال المطلق.

تطبيقات العالم الحقيقي#

يعتمد قرار تحديد العتبة في منحنى ROC كلياً على تكلفة الأخطاء في تطبيق صناعي معين.

1. التشخيص الطبي: في مجال AI in healthcare، وتحديدًا للمهام مثل اكتشاف الأورام في medical image analysis، فإن تكلفة تفويت حالة إيجابية (نتيجة سلبية كاذبة) تشكل خطرًا محتملًا على الحياة. لذلك، غالباً ما يختار الممارسون عتبة تعظّم معدل TPR، حتى لو أدى ذلك إلى معدل FPR أعلى، مما يعني أنه قد يتم الإشارة مبدئيًا إلى عدد أكبر من المرضى الأصحاء لإجراء مزيد من الاختبارات.

2. اكتشاف الاحتيال المالي: عندما يُستخدم AI in finance لمراقبة معاملات بطاقات الائتمان، يجب على البنوك الموازنة بين الأمن وتجربة العملاء. إذا كان النظام حساسًا للغاية (معدل TPR مرتفع)، فقد يقوم بحظر البطاقات الشرعية (معدل FPR مرتفع)، مما يزعج المستخدمين. يستخدم المحللون منحنى ROC لإيجاد عتبة متوازنة ترصد معظم حالات الاحتيال مع إبقاء false positives عند الحد الأدنى المقبول.

توليد الاحتمالات لتحليل ROC#

لرسم منحنى ROC، تحتاج إلى احتمالات التنبؤ الأولية بدلاً من مجرد فئات التصنيف النهائية. يستخدم المثال التالي نموذج YOLO26 المتطور لتوليد درجات التصنيف.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

بمجرد جمع هذه الاحتمالات لمجموعة التحقق من الصحة، يمكن للمطورين استخدام مكتبات مثل Scikit-learn لحساب نقاط المنحنى. لإدارة مجموعات البيانات وتتبع هذه المقاييس بمرور الوقت، توفر Ultralytics Platform أدوات متكاملة لتقييم النماذج ونشرها.

ROC مقابل المفاهيم ذات الصلة#

من المهم التمييز بين منحنى ROC وأدوات التقييم الأخرى:

• مقابل منحنى الدقة والاعتمادية (PR): بينما يرسم منحنى ROC قيمة TPR مقابل FPR، فإن Precision-Recall curve يرسم الدقة مقابل الاعتمادية. يُفضل عمومًا منحنى PR عندما تكون مجموعة البيانات غير متوازنة بشدة (مثل اكتشاف الشذوذ النادر)، حيث يمكن أن يقدم منحنى ROC في بعض الأحيان نظرة متفائلة مبالغ فيها في مثل هذه السيناريوهات.
• مقابل مصفوفة الارتباك: توفر confusion matrix لقطة للأداء عند عتبة محددة واحدة. في المقابل، يصور منحنى ROC الأداء عبر جميع العتبات الممكنة، مما يجعله أداة أشمل لتحليل predictive modeling قبل إنشاء قاعدة القرار النهائية.