Brier Score

يقيس مقياس براير دقة التنبؤات الاحتمالية بوصفه متوسط مربع الفرق بين كل احتمال متنبأ به والنتيجة الفعلية، التي تُرمّز بـ1 إذا وقع الحدث وبـ0 إن لم يقع. وتتراوح قيمته للأحداث الثنائية من 0، وهي النتيجة المثالية، إلى 1؛ ويحصل النموذج الذي يتنبأ دائمًا بـ0.5 على 0.25 بالضبط. قدّمه خبير الأرصاد Glenn W. Brier عام 1950 للتحقق من التنبؤات الجوية الاحتمالية، ويُستخدم الآن لتقييم نماذج المخاطر السريرية ومسابقات التنبؤ ومصنّفات التعلّم الآلي (ML). وهو يقيس الاحتمالات نفسها قبل أن تحوّلها أي عتبة إلى قرارات، لذا يميّز بين تنبؤ صحيح متردد بقيمة 0.51 وآخر واثق بقيمة 0.99، بينما تحسب الدقة والإحكام والاستدعاء التنبؤين بالطريقة نفسها.

كيفية حساب مقياس براير#

بالنسبة إلى N من التنبؤات ذات الاحتمال p والنتيجة o، يكون مقياس براير متوسط (p − o)². يُعاقب النموذج الذي يتنبأ باحتمال 80% لوجود عيب بمقدار 0.04 إذا كان العيب موجودًا، أي (0.8 − 1)²، وبمقدار 0.64 إن لم يكن موجودًا، أي (0.8 − 0)²؛ لذا تكلف الأخطاء الواثقة أكثر بكثير من الأخطاء المترددة. ومقياس براير قاعدة تسجيل سليمة تمامًا: لا يحصل النموذج على أفضل نتيجة متوقعة إلا إذا أبلغ عن الاحتمالات التي يؤمن بها فعلًا، لذا لا يمكنه تحسين نتيجته بالتحيز نحو 0 أو 1.

عند وجود أكثر من فئتين، تُجمع مربعات الفروق بين متجه الاحتمالات المتنبأ بها والمتجه أحادي التمثيل للفئة الحقيقية عبر الفئات، ثم يؤخذ متوسطها عبر الأمثلة. يتراوح هذا الشكل متعدد الفئات، وهو التعريف الأصلي لبراير، من 0 إلى 2. تقبل دالة scikit-learn brier_score_loss الحالتين، وتُخفض افتراضيًا درجة الحالات الثنائية إلى النصف لتكون ضمن النطاق المعتاد من 0 إلى 1، مع الإبقاء على النطاق من 0 إلى 2 للمدخلات متعددة الفئات؛ لذا لا تكون الدرجات الصادرة عن أدوات مختلفة قابلة للمقارنة إلا عند استخدام الاصطلاح نفسه.

تفسير مقياس براير#

لا توجد قيمة «جيدة» موحدة لمقياس براير، لأنه يعتمد على معدل وقوع الحدث. يحصل النموذج الذي يتنبأ دائمًا بمعدل الأساس p على درجة p(1 − p): أي 0.09 لحدث يقع في 10% من الحالات، و0.25 لحدث يقع في نصف الحالات. وتقارن درجة مهارة براير، BSS = 1 − BS / BS_ref، النموذج بتنبؤ مرجعي كهذا: تعني 0 أنه ليس أفضل من المرجع، و1 أنها مثالية، والقيم السلبية أسوأ من المرجع.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

يطبع البرنامج درجة نموذج قدرها 0.098، مقابل 0.240 عند التنبؤ دائمًا بمعدل عيوب يبلغ 40%، أي درجة مهارة قدرها 0.59؛ وهذا يعني أن النموذج يزيل 59% من الخطأ التربيعي للتنبؤ المرجعي. وأكبر عقوبة منفردة، ومقدارها 0.42، سببها القطعة المعيبة التي لم يمنحها سوى احتمال 0.35.

تقسّم صيغة مورفي لعام 1973 الدرجة إلى ثلاثة أجزاء: BS = الموثوقية − القدرة على التمييز + عدم اليقين. تقيس الموثوقية المعايرة، أي مدى ابتعاد الاحتمالات المتنبأ بها عن التكرارات المرصودة للحالات التي مُنحت تلك الاحتمالات، وينبغي أن تكون منخفضة. وتقيس القدرة على التمييز مدى فصل التنبؤات بين الحالات ذات النتائج المختلفة، وينبغي أن تكون مرتفعة. ويساوي عدم اليقين حد معدل الأساس p(1 − p)، ويعتمد على البيانات وحدها. يكون النموذج الذي يتنبأ دائمًا بمعدل الأساس معايرًا تمامًا وتكون قدرته على التمييز صفرًا، لذا تساوي درجته حد عدم اليقين.

مقياس بريير مقارنةً بالمقاييس ذات الصلة#

• الخسارة اللوغاريتمية: قاعدة تسجيل سليمة تمامًا أيضًا، وتُحسب من لوغاريتم الاحتمال الممنوح للنتيجة الحقيقية. وهي تعاقب الأخطاء الواثقة بدرجة أشد بكثير: فتنبؤ بقيمة 0.99 لحدث لم يقع يكلف 0.98 في مقياس براير و4.6 في الخسارة اللوغاريتمية، والتنبؤ بصفر تمامًا لحدث وقع يجعل الخسارة اللوغاريتمية لا نهائية.
• خطأ المعايرة المتوقع (ECE): يقيس المعايرة وحدها من خلال تقسيم التنبؤات إلى فئات بحسب الثقة، ثم حساب متوسط الفرق بين الثقة والدقة. وهو يتجاهل القدرة على التمييز، لذا قد يحصل نموذج يتنبأ دائمًا بمعدل الأساس على درجة ECE مثالية.
• المساحة تحت المنحنى (AUC): تقيس مدى جودة ترتيب الدرجات للإيجابيات فوق السلبيات، ولا تتغير بأي معايرة تحافظ على ذلك الترتيب، مثل تحجيم درجة الحرارة لمصنّف ثنائي.
• الثقة: الدرجة التي يقرنها النموذج بتنبؤ ما. يختبر مقياس براير ما إذا كانت هذه الدرجات تتصرف كاحتمالات، وترفع الدرجات المفرطة في الثقة قيمته عبر حد الموثوقية.

مقياس براير في الرؤية الحاسوبية#

يُقيَّم أداء مصنفات الصور التي تُخرج احتمالات باستخدام درجة Brier على صور محجوبة عن التدريب موسومة، وتُظهر إعادة حسابها على صور الإنتاج الموسومة حديثًا ما إذا كانت المعايرة تصمد مع تغير المدخلات بسبب انجراف البيانات. تُرجع نماذج تصنيف YOLO26 توزيع softmax كاملًا على فئاتها في result.probs.data؛ لذا فإن درجة Brier متعددة الفئات لمصنف YOLO26 مضبوط بدقة هي متوسط مجموع الفروق المربعة بين ذلك المتجه والتسمية الحقيقية ذات الترميز الأحادي، محسوبًا على الصور المحجوبة عن التدريب.