منحنى خاصية تشغيل المستقبل (ROC)

منحنى خصائص التشغيل المستقبِل (ROC) هو تمثيل بياني يُستخدم لتقييم أداء نموذج التصنيف الثنائي نموذج تصنيف ثنائي. وهو يصور المفاضلة بين المعدل الإيجابي الحقيقي (TPR) والمعدل الإيجابي الخاطئ (FPR) عبر عتبات تصنيف مختلفة. (FPR) عبر عتبات تصنيف مختلفة. في التعلم الآلي (ML)، هذا المنحنى أساسي أساسيًا لتقييم مدى قدرة النموذج على التمييز بين فئتين، مثل "رسائل غير مرغوب فيها" مقابل "غير مزعج" أو "مريض" مقابل "سليم". من خلال رسم هذه المعدلات، يوفر منحنى ROC نظرة شاملة لقدرة النموذج على التشخيص، متجاوزاً المقاييس ذات الرقم الواحد مثل الدقة التي يمكن أن تكون مضللة بمعزل عن المقاييس ذات الرقم الواحد.

فهم المحاور

لتفسير منحنى ROC بشكل صحيح، من الضروري فهم المقياسين المرسومين على محوريه:

• المعدل الإيجابي الحقيقي (TPR): غالبًا ما يشار إليه باسم الاسترجاع أو الحساسية، يقيس هذا المقياس نسبة من الحالات الإيجابية الفعلية التي يحددها النموذج بشكل صحيح. على سبيل المثال، في نظام الأمان، سيكون هذا هو النسبة المئوية للمتطفلين الفعليين الذين تم اكتشافهم بشكل صحيح.
• المعدل الإيجابي الكاذب (FPR): يقوم هذا المقياس بحساب نسبة الحالات السلبية الفعلية التي التي تم تحديدها بشكل غير صحيح على أنها إيجابية (إنذارات كاذبة). يشير معدل الإنذارات الكاذبة المنخفض إلى عدد أقل من الإنذارات الكاذبة، وهو أمر بالغ الأهمية لثقة المستخدم في أنظمة مثل المصادقة البيومترية.

يتم إنشاء المنحنى عن طريق تغيير عتبة الثقة للمصنف من 0 إلى 1. تمثّل كل نقطة نقطة على منحنى ROC تمثل زوجًا من الحساسية/التحديد يتوافق مع عتبة قرار معينة. A خطًا قطريًا من أسفل اليسار إلى أعلى اليمين يمثل مصنفًا عشوائيًا بدون مهارة تنبؤية (عملة معدنية )، بينما يشير المنحنى الذي ينحني بشكل حاد نحو الزاوية العلوية اليسرى إلى نموذج عالي الأداء.

تطبيقات واقعية

يتم استخدام منحنيات ROC على نطاق واسع في مختلف الصناعات لتحسين عتبات القرار من أجل لنشر النموذج.

1. التشخيص الطبي: في تحليل الصور الطبية، يستخدم الباحثون منحنيات ROC لضبط النماذج للكشف عن حالات مثل الالتهاب الرئوي أو الأورام. يتم إعطاء الأولوية لمعدل استجابة سريع مرتفع لضمان عدم وجود عدم تفويت أي حالات إيجابية، حتى لو كان ذلك يعني قبول معدل اختبار فوري أعلى قليلاً. هذا التوازن أمر بالغ الأهمية للامتثال بمعايير السلامة من منظمات مثل إدارة الغذاء والدواء الأمريكية.
2. الكشف عن الاحتيال المالي: توظف المؤسسات المالية الذكاء الاصطناعي في المجال المالي لتحديد المعاملات الاحتيالية. وهنا، يساعد منحنى ROC المحللين على تحديد الحد الأدنى الذي يلتقط غالبية محاولات الاحتيال محاولات الاحتيال (Recall High Recall) دون الإبلاغ عن الكثير من المعاملات المشروعة، مما يؤثر سلباً على تجربة العميل.

حساب الاحتمالات لـ ROC

لرسم منحنى ROC، تحتاج إلى الاحتمالات المتوقعة للفئة الموجبة بدلاً من الفئة النهائية فقط النهائية فقط. يوضّح المثال التالي كيفية استخراج هذه الاحتمالات باستخدام YOLO11 نموذج التصنيف من ultralytics الحزمة.

from ultralytics import YOLO

# Load a pretrained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image to get prediction results
results = model("path/to/image.jpg")

# Access the probability distribution for all classes
# These scores are necessary inputs for calculating ROC and AUC
probs = results[0].probs.data
print(f"Class probabilities: {probs}")

بمجرد الحصول على هذه الاحتمالات لمجموعة بيانات الاختبار، يمكن لمكتبات مثل مثل Scikit-learn لحساب قيم FPR و TPR اللازمة لرسم المنحنى.

مركز العمليات الإقليمية مقابل مقاييس التقييم الأخرى

على الرغم من أن منحنى ROC أداة قوية، إلا أنه من المفيد تمييزه عن مفاهيم التقييم ذات الصلة:

• المساحة تحت المنحنى (AUC): المساحة تحت المنحنى المنطقة تحت المنحنى (AUC) هي قيمة قياسية مستمدة من منحنى ROC. في حين أن منحنى ROC عبارة عن مخطط مرئي، فإن AUC يقيس الأداء الكلي في رقم واحد بين 0 و 1، مما يسهل المقارنة بين نماذج التعلّم تحت الإشراف نماذج التعلم الخاضعة للإشراف.
• منحنى دقة الاستدعاء: عند التعامل مع مجموعات بيانات غير متوازنة للغاية (على سبيل المثال، مرض نادر يؤثر على 1% من السكان)، يمكن أن يقدم منحنى ROC في بعض الأحيان نظرة مفرطة في التفاؤل. في مثل هذه الحالات، يمكن لمنحنى منحنى الدقة-الاستدعاء غالبًا ما يكون أكثر إفادة لأنه يركز مباشرةً على أداء فئة الأقلية دون أخذ السلبيات الحقيقية في الحسبان. السلبيات.
• مصفوفة الارتباك: A توفر مصفوفة الارتباك لقطة من الأداء عند عتبة واحدة محددة، تُظهر الأعداد الدقيقة للإيجابيات الحقيقية والإيجابيات الخاطئة والسلبيات الصحيحة والسلبيات الخاطئة. يلخص منحنى ROC بشكل فعال المعلومات من مصفوفات الارتباك المتولدة عند كل عتبة ممكنة.

بالنسبة للمهام التي تتضمن اكتشاف الأجسام، فإن مقاييس مثل متوسط الدقة المتوسطة (mAP) عادةً، على الرغم من أن منحنيات ROC تظل ذات صلة بمكون التصنيف الأساسي لهذه النماذج. يضمن فهم هذه الفروق أن يختار المطورون المقياس المناسب لمهامهم الخاصة الرؤية الحاسوبية (CV) الخاصة بهم.