تعرف على كيفية تقييم منحنيات ROC و AUC لأداء المصنف في الذكاء الاصطناعي / التعلم الآلي، وتحسين TPR مقابل FPR لمهام مثل الكشف عن الاحتيال والتشخيص الطبي.
منحنى خصائص تشغيل المستقبل (ROC) هو رسم بياني يوضح القدرة التشخيصية لنموذج تصنيف ثنائي مع اختلاف عتبة التمييز الخاصة به. إنه أداة أساسية في التعلم الآلي (ML) لتقييم ومقارنة أداء المصنفات. يتم إنشاء المنحنى عن طريق رسم معدل الإيجابية الحقيقية (TPR) مقابل معدل الإيجابية الكاذبة (FPR) عند إعدادات عتبة مختلفة، مما يوفر عرضًا شاملاً لأداء النموذج عبر جميع عتبات التصنيف الممكنة. وهذا يجعله رصيدًا لا يقدر بثمن لفهم المفاضلات بين الحساسية والنوعية في مهام التعلم الخاضع للإشراف.
لفهم مفهوم منحنى ROC، من الضروري فهم محوريه:
عادةً ما يُخرج نموذج التصنيف احتمالًا أو درجة ثقة لكل مثيل. ثم يتم تطبيق عتبة على هذه النتيجة لاتخاذ قرار ثنائي نهائي (على سبيل المثال، إيجابي أو سلبي). يتم إنشاء منحنى ROC عن طريق تغيير هذه العتبة بشكل منهجي من 0 إلى 1 ورسم أزواج TPR و FPR الناتجة لكل قيمة. يمكن غالبًا تصور أداء النموذج باستخدام أدوات مثل TensorBoard أو من خلال منصات مثل Ultralytics HUB.
يكشف شكل وموضع منحنى ROC الكثير عن أداء النموذج.
المقياس الشائع المشتق من منحنى ROC هو المساحة تحت المنحنى (AUC). يمثل AUC احتمالية أن يصنف المصنف مثيلًا إيجابيًا تم اختياره عشوائيًا أعلى من مثيل سلبي تم اختياره عشوائيًا. يشير AUC بقيمة 1.0 إلى نموذج مثالي، بينما يتوافق AUC بقيمة 0.5 مع نموذج عشوائي. هذه القيمة العددية المفردة مفيدة لمقارنة النماذج المختلفة.
تُستخدم منحنيات ROC على نطاق واسع في مختلف الصناعات لتقييم واختيار النماذج المثالية للنشر.
التشخيص الطبي: في تحليل الصور الطبية، قد يتم تدريب نموذج تعلم عميق لاكتشاف السرطان من صور الثدي الشعاعية. يساعد منحنى ROC أخصائيي الأشعة والمهندسين على تقييم قدرة النموذج على التمييز بين الأورام الخبيثة والحميدة. من خلال تحليل المنحنى، يمكنهم اختيار عتبة تصنيف توازن الحاجة إلى اكتشاف أكبر عدد ممكن من السرطانات (TPR عالية) مقابل خطر التسبب في خزعات غير ضرورية بسبب الإنذارات الكاذبة (FPR منخفضة). هذه خطوة حاسمة في تطوير الذكاء الاصطناعي المسؤول وضمان تلبية النموذج للمعايير السريرية التي وضعتها هيئات مثل إدارة الغذاء والدواء (FDA).
اكتشاف الاحتيال في بطاقات الائتمان: تستخدم المؤسسات المالية نماذج تعلم الآلة لتحديد المعاملات الاحتيالية في الوقت الفعلي. يمكن استخدام منحنى ROC لتقييم مدى جودة النموذج في فصل المعاملات الاحتيالية عن المعاملات المشروعة. قد يستخدم البنك المنحنى لتحديد عتبة تزيد من اكتشاف الاحتيال مع تقليل عدد المعاملات المشروعة التي يتم رفضها بشكل غير صحيح، مما قد يحبط العملاء. يساعد هذا في بناء أنظمة قوية لـ الذكاء الاصطناعي في مجال التمويل.
على الرغم من قوة منحنيات ROC، من المهم فهم كيف تختلف عن مقاييس التقييم الأخرى.
الدقة: يمكن أن يكون هذا المقياس مضللاً، خاصة مع مجموعات البيانات غير المتوازنة حيث تهيمن إحدى الفئات. يمكن للنموذج تحقيق دقة عالية ببساطة عن طريق توقع الفئة الأغلبية. يوفر منحنى ROC و AUC عرضًا مستقلاً عن العتبة وأكثر قوة في هذه السيناريوهات.
الدقة والاسترجاع: تركز هذه المقاييس على أداء الفئة الموجبة. تقيس الدقة Precision صحة التوقعات الإيجابية، بينما يقيس الاسترجاع Recall (TPR) تغطية الإيجابيات الفعلية. يجمع مقياس F1 بين هذين المقياسين ولكنه يظل يعتمد على عتبة محددة. وعلى النقيض من ذلك، يقيّم منحنى ROC المفاضلة بين TPR و FPR عبر جميع العتبات. بالنسبة للمهام التي تكون فيها الفئة السلبية واسعة النطاق وذات أهمية قليلة، قد يكون منحنى الدقة والاسترجاع Precision-Recall أكثر إفادة.
متوسط الدقة (mAP) وتقاطع الاتحاد (IoU): تم تصميم منحنيات ROC لـ التصنيف الثنائي. بالنسبة للمهام الأكثر تعقيدًا مثل اكتشاف الكائنات أو تجزئة المثيلات الشائعة مع نماذج مثل Ultralytics YOLO، توجد مقاييس أخرى قياسية. يتم استخدام متوسط الدقة (mAP) و تقاطع الاتحاد (IoU) لتقييم كل من دقة التصنيف والموقع. لمزيد من التفاصيل، راجع دليلنا حول مقاييس أداء YOLO. يمكن تصور هذه المقاييس باستخدام أطر عمل مثل PyTorch أو TensorFlow.
