Receiver Operating Characteristic (ROC) Curve

منحنى خصائص تشغيل المستقبِل (ROC) هو أداة رسومية أساسية تُستخدم لتقييم أداء نماذج التصنيف الثنائي. في مجال تعلم الآلة (ML)، يقوم هذا المنحنى بتصوير المقايضة بين حساسية النموذج ونوعيته عبر جميع عتبات القرار الممكنة. على عكس المقاييس ذات القيمة الواحدة مثل الدقة، التي يمكن أن تكون مضللة إذا كانت مجموعة البيانات غير متوازنة، يوفر منحنى ROC نظرة شاملة حول كيفية تصرف المصنِّف عندما تصبح معايير تحديد الحالات الإيجابية أكثر أو أقل صرامة. تُعد هذه الرؤية المرئية ضرورية للمهندسين الذين يستخدمون تقنيات التعلم الخاضع للإشراف لتحديد نقطة التشغيل المثلى لحالة الاستخدام الخاصة بهم.

Link to this sectionتفسير المحاور والمقايضات#

لفهم منحنى ROC، من الضروري النظر إلى المعلمتين اللتين يتم رسمهما مقابل بعضهما البعض: معدل الإيجابيات الحقيقية (TPR) ومعدل الإيجابيات الكاذبة (FPR).

• معدل الإيجابيات الحقيقية (TPR): يُشار إليه غالبًا باسم الاستدعاء أو الحساسية، ويقيس هذا المقياس الموجود على المحور الصادي نسبة الملاحظات الإيجابية الفعلية التي حددها النموذج بشكل صحيح. يعني ارتفاع TPR أن النظام نادراً ما يغفل عن هدف ما.
• معدل الإيجابيات الكاذبة (FPR): يتم تمثيله على المحور السيني، ويمثل نسبة الحالات السلبية التي تم تصنيفها بشكل غير صحيح على أنها إيجابية، وهو ما يُعرف أيضاً بـ "الإنذار الكاذب".

يوضح المنحنى علاقة ديناميكية: فمع خفض عتبة الثقة لالتقاط المزيد من الحالات الإيجابية (زيادة TPR)، فإنك تزيد حتماً من مخاطر تصنيف الحالات السلبية بشكل غير صحيح (زيادة FPR). يصل المصنف المثالي إلى الزاوية العلوية اليسرى من الرسم البياني، مما يشير إلى حساسية بنسبة 100% و0% إنذارات كاذبة. يظهر النموذج الذي يقوم بتخمينات عشوائية كخط قطري من أسفل اليسار إلى أعلى اليمين. غالباً ما يتم تلخيص الأداء العام بواسطة المساحة تحت المنحنى (AUC)، حيث تمثل القيمة 1.0 الكمال.

Link to this sectionتطبيقات العالم الحقيقي#

يعتمد قرار تحديد العتبة في منحنى ROC كلياً على تكلفة الأخطاء في تطبيق صناعي معين.

1. التشخيص الطبي: في الذكاء الاصطناعي في الرعاية الصحية، وتحديداً في مهام مثل الكشف عن الأورام في تحليل الصور الطبية، فإن تكلفة إغفال حالة إيجابية (نتيجة سلبية كاذبة) قد تهدد الحياة. لذلك، غالباً ما يختار الممارسون عتبة تزيد من TPR، حتى لو أدى ذلك إلى ارتفاع FPR، مما يعني أن المزيد من المرضى الأصحاء قد يتم توجيههم في البداية لإجراء المزيد من الاختبارات.

2. كشف الاحتيال المالي: عند استخدام الذكاء الاصطناعي في التمويل لمراقبة معاملات بطاقات الائتمان، يجب على البنوك الموازنة بين الأمان وتجربة العميل. إذا كان النظام حساساً جداً (TPR مرتفع)، فقد يحظر بطاقات مشروعة (FPR مرتفع)، مما يحبط المستخدمين. يستخدم المحللون منحنى ROC لإيجاد عتبة متوازنة تكتشف معظم حالات الاحتيال مع الحفاظ على الإيجابيات الكاذبة عند حد أدنى مقبول.

Link to this sectionتوليد الاحتمالات لتحليل ROC#

لرسم منحنى ROC، تحتاج إلى احتمالات التنبؤ الأولية بدلاً من مجرد تسميات الفئات النهائية. يستخدم المثال التالي نموذج YOLO26 المتطور لتوليد نتائج التصنيف.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

بمجرد جمع هذه الاحتمالات لمجموعة التحقق، يمكن للمطورين استخدام مكتبات مثل Scikit-learn لحساب نقاط المنحنى. لإدارة مجموعات البيانات وتتبع هذه المقاييس بمرور الوقت، توفر منصة Ultralytics أدوات متكاملة لتقييم النماذج ونشرها.

Link to this sectionROC مقابل المفاهيم ذات الصلة#

من المهم التمييز بين منحنى ROC وأدوات التقييم الأخرى:

• مقابل منحنى الدقة-الاستدعاء (PR): بينما يرسم منحنى ROC معدل TPR مقابل FPR، يرسم منحنى الدقة-الاستدعاء الدقة مقابل الاستدعاء. يُفضل منحنى PR عموماً عندما تكون مجموعة البيانات غير متوازنة بشدة (على سبيل المثال، اكتشاف الشذوذ النادر)، حيث يمكن أن يقدم منحنى ROC أحياناً نظرة متفائلة بشكل مفرط في مثل هذه السيناريوهات.
• مقابل مصفوفة الارتباك: توفر مصفوفة الارتباك لقطة للأداء عند عتبة محددة واحدة. في المقابل، يصور منحنى ROC الأداء عبر جميع العتبات الممكنة، مما يجعله أداة أوسع لتحليل النمذجة التنبؤية قبل وضع قاعدة القرار النهائية.