المساحة تحت المنحنى (AUC)

المساحة تحت المنحنى (AUC) هو مقياس أساسي يُستخدم لقياس أداء نماذج التصنيف, خاصةً في مجال التعلّم الآلي (ML). وهو يقيس قدرة النموذج على التمييز بين الفئات، مثل فصل الحالات الإيجابية عن الحالات السلبية. على عكس المقاييس التي تعتمد على عتبة قرار واحدة، توفر AUC نظرة شاملة للأداء عبر جميع العتبات الممكنة الممكنة. وهذا يجعلها أداة أساسية لتقييم خوارزميات التعلم تحت الإشراف، مما يضمن أن أن القدرات التنبؤية للنموذج قوية وغير متحيزة بنقطة قطع محددة. تشير قيمة AUC الأعلى بشكل عام إلى نموذج أفضل أداء، حيث تمثل الدرجة 1.0 تصنيفًا مثاليًا.

العلاقة بين مفوضية الاتحاد الأفريقي ومعدل التغير المناخي

يشير مصطلح AUC على وجه التحديد إلى المساحة تحت منحنى منحنى خصائص التشغيل المتلقي (ROC). منحنى ROC هو مخطط بياني يوضح القدرة التشخيصية لنظام تصنيف ثنائي. وهو يرسم المعدل الإيجابي الحقيقي (TPR)، والمعروف أيضًا باسم Recall، مقابل المعدل الإيجابي الخاطئ (FPR) في إعدادات عتبة مختلفة.

• المعدل الإيجابي الحقيقي: نسبة الحالات الإيجابية الفعلية التي حددها النموذج بشكل فعال.
• المعدل الإيجابي الكاذب: نسبة الحالات السلبية الفعلية التي تم تحديدها بشكل غير صحيح على أنها إيجابية.

من خلال حساب AUC، يقوم علماء البيانات بتكثيف المعلومات الواردة في منحنى ROC في رقم واحد. وهذا يبسّط تقييم النموذج، مما يسمح مقارنة أسهل بين البنى المختلفة، مثل مقارنة نموذج ريسنت-50 مقابل بديل أخف وزنًا.

تفسير النتيجة

تتراوح درجة AUC من 0 إلى 1، مما يوفر تفسيرًا احتماليًا لجودة تصنيف النموذج.

• AUC = 1.0: مصنف مثالي. يمكنه التمييز بشكل صحيح بين الفئات الإيجابية والسلبية بنسبة 100٪ من من الوقت.
• 0.5 < AUC < 1.0: The model has a better-than-random chance of classifying instances correctly. This is the target range for most predictive modeling tasks.
• AUC = 0.5: لا يتمتع النموذج بقدرة تمييزية، أي ما يعادل التخمين العشوائي (مثل رمي عملة معدنية).
• AUC < 0.5: This suggests the model is performing worse than random chance, often indicating that the predictions are inverted or there is a significant issue with the training data.

للتعمق أكثر في آليات التصنيف، يمكن الاطلاع على موارد مثل دورةGoogle للتعلم الآلي السريع تقدم تفسيرات مرئية ممتازة.

تطبيقات واقعية

تُعد مفوضية الاتحاد الأفريقي ذات قيمة خاصة في السيناريوهات التي تتفاوت فيها عواقب النتائج الإيجابية الخاطئة والسلبيات الخاطئة بشكل كبير.

1. التشخيص الطبي: في الذكاء الاصطناعي في مجال الرعاية الصحية، غالبًا ما يتم تدريب النماذج على detect الحالات الشاذة مثل الأورام في الأشعة السينية أو التصوير بالرنين المغناطيسي. يضمن ارتفاع درجة AUC أن النموذج يصنف الحالات الخبيثة بشكل موثوق الحالات الخبيثة أعلى من الحالات الحميدة. هذه الموثوقية أمر بالغ الأهمية لأنظمة دعم القرارات السريرية التي يستخدمها أخصائيي الأشعة. على سبيل المثال، رؤية كيف يساعد يساعدYOLO11 في اكتشاف الورم يسلط الضوء على أهمية مقاييس التقييم القوية في التطبيقات الحرجة للحياة.
2. كشف الاحتيال المالي: تستخدم المؤسسات المالية الرؤية الحاسوبية والتعرف على الأنماط للإبلاغ عن المعاملات الاحتيالية. نظرًا لأن عدد المعاملات المشروعة يفوق عدد المعاملات الاحتيالية إلى حد كبير، فإن البيانات غير متوازنة إلى حد كبير. يُفضّل استخدام AUC هنا لأنه يقيّم ترتيب احتمالات الاحتيال دون أن ينحرف بسبب العدد الكبير من المعاملات الشرعية السلبية، على عكس الدقة الأولية الخام. يساعد هذا في بناء أنظمة تقلل من الاحتكاك مع العملاء مع الحفاظ على الأمان، وهو عنصر أساسي من عناصر الذكاء الاصطناعي في التمويل.

مفوضية الاتحاد الأفريقي مقابل المقاييس الأخرى

يعد فهم متى يجب استخدام مفردات مفوضية الاتحاد الأفريقي مقابل المقاييس الأخرى أمرًا أساسيًا لنجاح النشر الناجح للنموذج.

• AUC مقابل الدقة: تقيس الدقة النسبة المئوية النسبة المئوية للتنبؤات الصحيحة. ومع ذلك، في مجموعات البيانات غير المتوازنة (على سبيل المثال، فئة سلبية بنسبة 99%)، يمكن للنموذج تحقيق دقة بنسبة 99% من خلال توقع "سلبي" لكل شيء، على الرغم من عدم امتلاكه قوة تنبؤية صفرية. AUC هو غير متغير باختلال توازن الفئات، مما يجعله مقياسًا أكثر صدقًا لهذه المشاكل.
• مفوضية الاتحاد الأفريقي مقابل دقة الاستدعاء: في حين أن ROC AUC يأخذ بعين الاعتبار كلاً من الدقة والاستدعاء, الدقة و والاستدعاء يركزان تحديدًا على الفئة الإيجابية. في الحالات التي تكون فيها النتائج الإيجابية الكاذبة مقبولة بينما تكون النتائج السلبية الكاذبة غير مقبولة (على سبيل المثال، الفحص الأولي للأمراض)، فإن تحليل المفاضلة بين الدقة والاستدعاء قد يكون أكثر إفادة من ROC AUC.
• مفوضية الاتحاد الأفريقي مقابل mAP: بالنسبة لمهام مهام اكتشاف الأجسام التي تقوم بها نماذج مثل YOLO11فإن المقياس القياسي هو متوسط الدقة المتوسطة (mAP). mAP يحسب بشكل أساسي المنطقة تحت منحنى الدقة-الاستدعاء للمربعات المحدودة عند عتبات تقاطع محددة على الاتحادIoU)، في حين أن AUC يُستخدم عادةً لتصنيف الثقة في تصنيف الكائنات.

حساب احتمالات الفئة

لحساب AUC، تحتاج إلى درجات احتمالية للفئة الموجبة بدلاً من مجرد تسميات الفئة النهائية. يوضح المثال التالي المثال التالي يوضح كيفية الحصول على هذه الاحتمالات باستخدام تصنيف الصور نموذج من ultralytics المكتبة.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Access the probability scores for all classes
# These scores are the inputs needed to calculate AUC against ground truth
probs = results[0].probs.data
print(f"Class Probabilities: {probs}")

بمجرد حصولك على احتمالات مجموعة البيانات، يمكنك استخدام مكتبات قياسية مثل القياسية مثل Scikit-learn لحساب درجة AUC النهائية.