منحنى خاصية تشغيل المستقبل (ROC)

منحنى خصائص التشغيل المستقبل (ROC) هو أداة رسومية أساسية تُستخدم لتقييم أداء نماذج التصنيف الثنائي. في مجال التعلم الآلي (ML)، فإنه يصور المفاضلة بين حساسية النموذج وخصوصيته عبر جميع عتبات القرار الممكنة. على عكس المقاييس ذات القيمة الواحدة مثل الدقة، والتي يمكن أن تكون مضللة إذا كانت مجموعة البيانات غير متوازنة، يوفر منحنى ROC رؤية شاملة لكيفية تصرف المصنف عندما تصبح معايير تحديد الحالات الإيجابية أكثر أو أقل صرامة. هذا التصور ضروري للمهندسين الذين يستخدمون تقنيات التعلم الخاضع للإشراف لتحديد نقطة التشغيل المثلى لحالة الاستخدام المحددة الخاصة بهم.

تفسير المحاور والمفاضلات

لفهم منحنى ROC، من الضروري النظر إلى المعلمتين المرسومتين مقابل بعضهما البعض: معدل الإيجابية الحقيقية (TPR) ومعدل الإيجابية الكاذبة (FPR).

• معدل الإيجابية الحقيقية (TPR): غالبًا ما يشار إليه باسم الاسترجاع أو الحساسية، ويقيس هذا المقياس على المحور الصادي نسبة الملاحظات الإيجابية الفعلية التي حددها النموذج بشكل صحيح. يعني ارتفاع معدل الإيجابية الحقيقية أن النظام نادرًا ما يفوت هدفًا.
• معدل الإيجابية الكاذبة (FPR): يتم رسمه على المحور السيني، ويمثل نسبة الحالات السلبية التي تم تصنيفها بشكل خاطئ على أنها إيجابية، والمعروفة أيضًا باسم "الإنذار الكاذب".

يوضح المنحنى علاقة ديناميكية: كلما خفضت عتبة الثقة لالتقاط المزيد من الحالات الإيجابية (زيادة TPR)، فإنك تزيد دائمًا من خطر الإبلاغ عن الحالات السلبية بشكل غير صحيح (زيادة FPR). المصنف المثالي سيصل إلى الزاوية العلوية اليسرى من الرسم البياني، مما يشير إلى حساسية بنسبة 100٪ وإنذارات خاطئة بنسبة 0٪. النموذج الذي يقوم بتخمينات عشوائية سيظهر كخط قطري من أسفل اليسار إلى أعلى اليمين. غالبًا ما يتم تلخيص الأداء العام بواسطة المساحة تحت المنحنى (AUC)، حيث تمثل القيمة 1.0 الكمال.

تطبيقات واقعية

يعتمد قرار تحديد عتبة منحنى ROC كليًا على تكلفة الأخطاء في تطبيق صناعي معين .

1. التشخيص الطبي: في الذكاء الاصطناعي في مجال الرعاية الصحية، وتحديداً في مهام مثل الكشف عن الأورام في تحليل الصور الطبية، قد يؤدي عدم اكتشاف حالة إيجابية (نتيجة سلبية خاطئة) إلى تهديد حياة المريض. لذلك، غالباً ما يختار الأطباء عتبة تزيد من معدل TPR إلى أقصى حد، حتى لو أدى ذلك إلى ارتفاع معدل FPR، مما يعني أن المزيد من المرضى الأصحاء قد يتم تحديدهم في البداية لإجراء مزيد من الفحوصات.
2. كشف الاحتيال المالي: عندما يتم استخدام الذكاء الاصطناعي في مجال التمويل لمراقبة معاملات بطاقات الائتمان، يجب على البنوك تحقيق التوازن بين الأمان وتجربة العملاء. إذا كان النظام حساسًا للغاية (معدل TPR مرتفع )، فقد يحظر البطاقات الشرعية (معدل FPR مرتفع)، مما يسبب إحباط المستخدمين. يستخدم المحللون منحنى ROC للعثور على عتبة متوازنة تكشف معظم حالات الاحتيال مع الحفاظ على النتائج الإيجابية الخاطئة في حد أدنى مقبول.

توليد الاحتمالات لتحليل ROC

لرسم منحنى ROC، تحتاج إلى احتمالات التنبؤ الأولية بدلاً من مجرد تسميات الفئات النهائية. يستخدم المثال التالي نموذج YOLO26 المتطور لتوليد درجات التصنيف.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

بمجرد جمع هذه الاحتمالات لمجموعة التحقق، يمكن للمطورين استخدام مكتبات مثل Scikit-learn لحساب نقاط المنحنى. لإدارة مجموعات البيانات وتتبع هذه المقاييس بمرور الوقت، توفر Ultralytics أدوات متكاملة لتقييم النماذج ونشرها.

ROC مقابل المفاهيم ذات الصلة

من المهم التمييز بين منحنى ROC وأدوات التقييم الأخرى:

• مقابل منحنى الدقة والاسترجاع (PR): بينما يرسم منحنى ROC نسبة TPR مقابل FPR، فإن منحنى الدقة والاسترجاع يرسم الدقة مقابل الاسترجاع. يُفضل استخدام منحنى PR بشكل عام عندما تكون مجموعة البيانات غير متوازنة بشكل كبير (على سبيل المثال، الكشف عن حالات شاذة نادرة)، حيث أن منحنى ROC قد يعطي في بعض الأحيان نظرة مفرطة في التفاؤل في مثل هذه السيناريوهات.
• مقابل مصفوفة الارتباك: توفر مصفوفة الارتباك لمحة سريعة عن الأداء عند عتبة محددة واحدة. في المقابل، يعرض منحنى ROC الأداء عبر جميع العتبات الممكنة، مما يجعله أداة أوسع نطاقًا لتحليل النمذجة التنبؤية قبل وضع قاعدة القرار النهائي.