المساحة تحت المنحنى (AUC)

فهم منحنى ROC

يتم اشتقاق قيمة AUC مباشرةً من منحنى خصائص الاستقبال والتشغيل (ROC). منحنى ROC هو مخطط بياني يوضّح القدرة التشخيصية لمصنف ثنائي مع تغيّر عتبة التمييز الخاصة به. وهو يرسم المعدل الإيجابي الحقيقي (TPR)، والمعروف أيضًا باسم الحساسية أو الاسترجاع، على المحور ص مقابل المعدل الإيجابي الخاطئ (FPR) على المحور س عند إعدادات عتبة مختلفة. يمثل AUC كامل المساحة ثنائية الأبعاد تحت منحنى ROC هذا. يمكن الاطلاع على نظرة عامة شاملة لمنحنيات ROC على ويكيبيديا.

تفسير مفوضية الاتحاد الأفريقي

يُفسر AUC على أنه احتمال أن يقوم النموذج بتصنيف نموذج إيجابي تم اختياره عشوائيًا أعلى من نموذج سلبي تم اختياره عشوائيًا. وهذا يجعله مقياسًا للقوة التمييزية الكلية للنموذج. تتمثل إحدى المزايا الرئيسية لمعيار AUC في عدم حساسيته النسبية لاختلال التوازن بين الفئات مقارنةً بمقاييس مثل الدقة. في مجموعات البيانات التي يفوق فيها أحد الفئتين عدد الفئات الأخرى بشكل كبير (وهو سيناريو شائع في المشاكل الواقعية)، قد تكون الدقة مضللة، بينما يوفر AUC مقياسًا أكثر قوة لمدى جودة النموذج في الفصل بين الفئات. تشير درجة AUC الأقرب إلى 1 إلى نموذج يتمتع بإمكانية فصل ممتازة، بينما تشير درجة AUC القريبة من 0.5 إلى قدرة تمييزية ضعيفة، على غرار التخمين العشوائي. إن فهم هذه التفسيرات أمر بالغ الأهمية لتقييم النموذج بفعالية.

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

يتم استخدام AUC على نطاق واسع في مختلف المجالات التي تكون فيها مهام التصنيف الثنائي حرجة. فيما يلي مثالان:

1. التشخيص الطبي: في تحليل الصور الطبية، غالبًا ما يتم تدريب النماذج على اكتشاف وجود أو عدم وجود أمراض (مثل الأورام واعتلال الشبكية السكري). يتم استخدام AUC لتقييم مدى قدرة نماذج الذكاء الاصطناعي هذه في مجال الرعاية الصحية على التمييز بين المرضى الأصحاء والمرضى بناءً على الصور، عبر عتبات تشخيصية مختلفة. أهمية AUC في الأبحاث الطبية موثقة جيدًا.
2. كشف الاحتيال: تستخدم المؤسسات المالية نماذج التعلم الآلي لتحديد المعاملات الاحتيالية. هذه مشكلة تصنيف ثنائية كلاسيكية (احتيالية مقابل غير احتيالية). تساعد AUC في تقييم الفعالية الإجمالية للنموذج في الإبلاغ عن الأنشطة الاحتيالية المحتملة مع تقليل الإنذارات الكاذبة، وهو أمر حيوي للذكاء الاصطناعي في مجال التمويل.

العديد من أطر ومكتبات التعلم العميق (DL) ، بما في ذلك PyTorch و TensorFlowلبناء هذه المصنفات. وتوفر أدوات مثل Scikit-learn وظائف ملائمة لحساب درجات ROC AUC، مما يبسط عملية التقييم. كما أن منصات مثل Ultralytics HUB تسهّل أيضًا تدريب وتقييم النماذج حيث تكون هذه المقاييس ذات صلة.

مفوضية الاتحاد الأفريقي مقابل المقاييس الأخرى

على الرغم من أن AUC مقياس قيّم، إلا أنه من المهم فهم كيفية اختلافه عن مقاييس التقييم الأخرى المستخدمة في الرؤية الحاسوبية وتعلم الآلة:

• AUC مقابل الدقة: تقيس الدقة صحة التنبؤات بشكل عام ولكنها قد تكون مضللة في مجموعات البيانات غير المتوازنة. يوفر AUC مقياسًا مستقلًا عن العتبة لقابلية الفصل، مما يجعله أكثر موثوقية في مثل هذه الحالات.
• AUC مقابل Precision-Recall: بالنسبة لمجموعات البيانات غير المتوازنة التي تكون فيها الفئة الإيجابية نادرة وذات أهمية أساسية (على سبيل المثال، الكشف عن الأمراض النادرة)، قد يكون منحنى الدقة-الاستدعاء والمساحة المقابلة له (AUC-PR) أكثر إفادة من منحنى ROC AUC. تركز مقاييس مثل Precision و Recall بشكل خاص على الأداء المتعلق بالفئة الإيجابية. كما توازن درجة F1 بين الدقة والاستدعاء.
• AUC مقابل mAP/IoU: يُستخدم AUC بشكل أساسي في مهام التصنيف الثنائي. بالنسبة لمهام اكتشاف الكائنات الشائعة مع نماذج مثل Ultralytics YOLOفإن مقاييس مثل متوسط متوسط الدقة (mAP) والتقاطع على الاتحاد (IoU) هي المقاييس القياسية. تُقيِّم هذه المقاييس كلاً من دقة التصنيف ودقة تحديد موقع الكائنات المكتشفة باستخدام المربعات المحدودة. يمكنك معرفة المزيد حول مقاييس أداءYOLO هنا. غالبًا ما تتضمن مقارنة النماذج المختلفة تحليل هذه المقاييس المحددة، كما هو موضح في مقارنات نماذجUltralytics .

يعتمد اختيار المقياس الصحيح على المشكلة المحددة، وخصائص مجموعة البيانات (مثل توازن الفئات)، وأهداف مشروع الذكاء الاصطناعي. يظل مقياس AUC حجر الزاوية لتقييم أداء التصنيف الثنائي بسبب متانته وقابليته للتفسير.