المساحة تحت المنحنى (AUC)

تُعد المساحة تحت المنحنى (AUC) مقياس أداء يُستخدم على نطاق واسع في التعلّم الآلي (ML) لتقييم فعالية نماذج التصنيف الثنائية. وهو يمثل احتمالية أن يقوم النموذج بتصنيف نموذج إيجابي تم اختياره عشوائيًا أعلى من نموذج سلبي تم اختياره عشوائيًا. بشكل أساسي، يلخص AUC قدرة النموذج على التمييز بين الفئات عبر جميع عتبات التصنيف الممكنة، مما يوفر مقياسًا واحدًا ومجمعًا للأداء. تشير قيمة AUC الأعلى إلى نموذج أفضل أداء، مما يجعلها أداة مهمة لمقارنة النماذج المختلفة ولضبط المعلمات الفائقة.

ما هو منحنى روك؟

يرتبط AUC ارتباطًا جوهريًا بمنحنى خاصية الاستقبال والتشغيل (ROC). منحنى ROC هو رسم بياني يرسم معدل الإيجابية الحقيقية (TPR)، والمعروف أيضًا باسم Recall، مقابل معدل الإيجابية الكاذبة (FPR) في إعدادات عتبة مختلفة. AUC هو ببساطة المساحة تحت منحنى ROC هذا. في حين يوفر منحنى ROC تمثيلًا مرئيًا لمفاضلة النموذج بين الحساسية والخصوصية، فإن درجة AUC تقيس هذه المفاضلة في رقم واحد، مما يبسّط مقارنة النموذج.

تفسير نتيجة Auc

تتراوح قيمة AUC من 0 إلى 1، حيث تشير الدرجة الأعلى إلى نموذج أفضل.

• AUC = 1: يمثل هذا نموذجًا مثاليًا يصنف جميع الحالات الإيجابية والسلبية بشكل صحيح. كل عينة إيجابية لها احتمال تنبؤ أعلى من كل عينة سلبية.
• AUC = 0.5: يشير هذا إلى أن النموذج ليس لديه قدرة تمييزية، أي ما يعادل التخمين العشوائي. سيكون منحنى ROC لمثل هذا النموذج خطًا قطريًا مستقيمًا.
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

توفر أدوات مثل Scikit-learn وظائف لحساب درجات AUC بسهولة، والتي يمكن تصورها باستخدام منصات مثل TensorBoard.

التطبيقات الواقعية

يعد AUC مقياسًا قيمًا في العديد من المجالات التي يكون فيها التصنيف الثنائي أمرًا بالغ الأهمية.

1. تحليل الصور الطبية: في مجال الذكاء الاصطناعي في الرعاية الصحية، يتم تطوير نماذج لمهام مثل الكشف عن الأورام من الفحوصات الطبية. تُستخدم درجة AUC لتقييم مدى قدرة النموذج على التمييز بين الحالات الخبيثة (الإيجابية) والحالات الحميدة (السلبية). تُعد درجة AUC العالية أمرًا حيويًا لبناء أدوات تشخيص موثوقة يمكنها مساعدة أخصائيي الأشعة، مما يضمن حساسية عالية دون وجود عدد كبير من الإنذارات الكاذبة. وهذا أمر بالغ الأهمية للنماذج التي تحلل مجموعات البيانات مثل مجموعة بيانات أورام الدماغ.
2. كشف الاحتيال: في القطاع المالي، تُستخدم نماذج الذكاء الاصطناعي لتحديد المعاملات الاحتيالية. عادةً ما تكون مجموعات البيانات في هذا المجال غير متوازنة إلى حد كبير، حيث يكون عدد المعاملات المشروعة أكثر بكثير من المعاملات الاحتيالية. تُعد مفيدة بشكل خاص هنا لأنها توفر مقياس أداء قوي لا ينحرف بفئة الأغلبية، على عكس الدقة. فهو يساعد المؤسسات المالية على بناء أنظمة تكتشف الاحتيال بفعالية مع تقليل النتائج الإيجابية الخاطئة التي قد تزعج العملاء. تعتمد المؤسسات المالية الرائدة على مثل هذه المقاييس لتقييم المخاطر.

Auc مقابل. مقاييس أخرى

على الرغم من أن AUC مقياس قيّم، إلا أنه من المهم فهم كيفية اختلافه عن مقاييس التقييم الأخرى المستخدمة في الرؤية الحاسوبية وتعلم الآلة:

• AUC مقابل الدقة: تقيس الدقة صحة التنبؤات بشكل عام ولكنها قد تكون مضللة في مجموعات البيانات غير المتوازنة. يوفر AUC مقياسًا مستقلًا عن العتبة لقابلية الفصل، مما يجعله أكثر موثوقية في مثل هذه الحالات.
• AUC مقابل Precision-Recall: بالنسبة لمجموعات البيانات غير المتوازنة حيث تكون الفئة الإيجابية نادرة وذات أهمية أساسية (على سبيل المثال، الكشف عن الأمراض النادرة)، قد يكون منحنى الدقة-الاستدعاء والمساحة المقابلة له (AUC-PR) أكثر إفادة من منحنى ROC AUC. تركز مقاييس مثل Precision و Recall بشكل خاص على الأداء المتعلق بالفئة الإيجابية. كما توازن درجة F1 بين الدقة والاستدعاء.
• AUC مقابل mAP/IoU: تُستخدم AUC بشكل أساسي في مهام التصنيف الثنائي. أما بالنسبة لمهام اكتشاف الكائنات الشائعة مع نماذج مثل Ultralytics YOLO، فإن مقاييس مثل متوسط الدقة المتوسطة (mAP) والتقاطع على الاتحاد (IoU) هي المعيار. تُقيِّم هذه المقاييس كلاً من دقة التصنيف ودقة تحديد موقع الكائنات المكتشفة باستخدام المربعات المحدودة. يمكنك معرفة المزيد حول مقاييس أداء YOLO هنا.

يعتمد اختيار المقياس الصحيح على المشكلة المحددة، وخصائص مجموعة البيانات (مثل توازن الفئات)، وأهداف مشروع الذكاء الاصطناعي. تظل AUC حجر الزاوية لتقييم أداء التصنيف الثنائي نظرًا لقوتها وقابليتها للتفسير. يمكن أن يساعد تتبع التجارب باستخدام أدوات مثل Ultralytics HUB في إدارة هذه المقاييس ومقارنتها بفعالية.