Brier Score

Der Brier Score misst die Genauigkeit probabilistischer Vorhersagen, indem er die quadratische Differenz zwischen jeder vorhergesagten Wahrscheinlichkeit und dem tatsächlich eingetretenen Ergebnis gemittelt. Ein Wert von 0 steht für perfekte Vorhersagen; größere Werte zeigen an, dass Vorhersagen weniger genau, schlechter kalibriert oder beides waren. Im Gegensatz zu Metriken, die nur auf finalen Klassenlabels basieren, bewertet der Brier Score, ob ein machine learning model sinnvolle Wahrscheinlichkeiten zuweist.

So funktioniert der Brier Score#

Kodiere das Ergebnis bei der binären Klassifikation als 1, wenn ein Ereignis eintritt, und als 0, wenn es nicht eintritt. Berechne für jedes Beispiel (predicted probability - outcome) squared und bilde dann den Mittelwert dieser Werte.

Angenommen, ein Modell sagt eine Wahrscheinlichkeit von 80 % voraus, dass ein Bild einen Defekt enthält:

• Wenn der Defekt vorhanden ist, beträgt der quadratische Fehler (0.8 - 1) squared bzw. 0,04.
• Wenn kein Defekt vorhanden ist, beträgt der Fehler (0.8 - 0) squared bzw. 0,64.

Die zweite Vorhersage erhält eine viel größere Strafe, weil das Modell selbstbewusst falsch lag. Das macht den Brier Score zu einer streng korrekten Bewertungsregel: Im Durchschnitt erzielt ein Prognostiker das beste Ergebnis, indem er seine ehrliche Wahrscheinlichkeitsschätzung angibt. Die scikit-learn Brier score loss documentation bietet eine Standardimplementierung.

Bei binären Problemen liegt der herkömmliche Bereich zwischen 0 und 1. Multiklassen-Versionen summieren die quadratischen Fehler über jede Klasse hinweg, sodass ihr Bereich zwischen 0 und 2 liegen kann, es sei denn, er wird durch zwei geteilt. Da Bibliotheken unterschiedliche Skalierungskonventionen verwenden – wie etwa den skalierten Ansatz in yardstick’s multiclass Brier Score –, sollten Vergleiche dieselbe Implementierung und dieselben Einstellungen verwenden.

Interpretation eines guten Brier Score#

Niedriger ist besser, aber es gibt keinen universellen Schwellenwert für einen „guten“ Brier Score. Seine Bedeutung hängt von der Häufigkeit des Ereignisses, der Schwierigkeit des Datensatzes und der Qualität einer vernünftigen Baseline ab.

Wenn ein Ereignis beispielsweise in 10 % der Fälle auftritt, erhält ein Modell, das immer 0,10 vorhersagt, einen erwarteten Score von 0,09. Ein nützliches Modell sollte sich im Allgemeinen gegenüber dieser auf der Häufigkeit basierenden Baseline verbessern. Die Evaluierung sollte repräsentative validation data verwenden, mit separater Berichterstattung für wichtige Klassen, Betriebsumgebungen oder demografische Gruppen.

Der Score spiegelt zwei zusammenhängende Eigenschaften wider:

• Kalibrierung: Vorhersagen von 0,80 sollten in etwa 80 % der Fälle korrekt sein. Probability calibration methods und Zuverlässigkeitsdiagramme können systematische Selbstüberschätzung oder -unterschätzung aufdecken.
• Auflösung: Vorhersagen sollten wahrscheinliche Ereignisse sinnvoll von unwahrscheinlichen trennen. Ein Modell, das immer die Basisrate vorhersagt, ist möglicherweise insgesamt kalibriert, liefert jedoch kaum fallbezogene Informationen.

Ein einzelner aggregierter Score kann lokale Probleme verbergen. Kombiniere ihn mit einer calibration curve, einer Untergruppenanalyse und einer umfassenderen uncertainty quantification.

Brier Score im Vergleich zu verwandten Metriken#

• Accuracy, precision, and recall: Diese bewerten diskrete Entscheidungen nach Anwendung eines Schwellenwerts. Der Brier Score bewertet die Wahrscheinlichkeiten vor der Schwellenwertbildung und unterscheidet eine vorsichtige korrekte Vorhersage von 0,51 von einer zuversichtlichen Vorhersage von 0,99.

• ROC AUC: AUC misst das Ranking – ob positive Fälle tendenziell höhere Scores erhalten als negative. Ein Modell kann Fälle korrekt einordnen und dennoch schlecht kalibrierte Wahrscheinlichkeiten erzeugen.

• Log loss: Beide sind korrekte Bewertungsregeln, aber Log Loss bestraft extrem zuversichtliche Fehler stärker. Die Interpretation des Brier Score als quadratischer Fehler ist oft einfacher zu erklären.

• Confidence: Eine als „Konfidenz“ bezeichnete Modellausgabe ist nicht automatisch eine kalibrierte Ereigniswahrscheinlichkeit. Ihre Bedeutung muss vor der Anwendung des Brier Score validiert werden.

Praxisanwendungen#

Bei der medizinischen Triage von Bilddaten schätzt ein image classification-Modell möglicherweise die Wahrscheinlichkeit ein, dass ein Scan eine Abnormalität enthält. Der Brier Score kann bewerten, ob diese Wahrscheinlichkeiten mit den beobachteten Diagnosen übereinstimmen, was wichtig ist, wenn Überweisungsregeln eine Schätzung von 90 % anders behandeln als eine Schätzung von 55 %.

In der industriellen Sichtprüfung kann ein Modell die Wahrscheinlichkeit schätzen, dass ein Produkt defekt ist. Gut kalibrierte Vorhersagen unterstützen ein risikobasiertes Routing: Fälle mit hoher Wahrscheinlichkeit können aussortiert, unsichere Fälle zur manuellen Prüfung geschickt und Fälle mit niedriger Wahrscheinlichkeit akzeptiert werden. Eine schlechte Kalibrierung kann zu unentdeckten Defekten oder unnötigem Ausschuss führen. Das NIST AI Risk Management Framework Core betont die Messung von Unsicherheit und die Überwachung der Leistung in bereitgestellten Systemen.

Praktischer Evaluierungs-Workflow#

Das folgende Beispiel berechnet den Score eines Modells und vergleicht ihn mit einer konstanten Häufigkeits-Baseline:

from sklearn.metrics import brier_score_loss

# Binary outcomes and predicted event probabilities
y_true = [0, 1, 1, 0, 1, 0]
y_probability = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40]

model_score = brier_score_loss(y_true, y_probability)

# Compare against always predicting the observed event rate
event_rate = sum(y_true) / len(y_true)
baseline_probability = [event_rate] * len(y_true)
baseline_score = brier_score_loss(y_true, baseline_probability)

print(f"Model: {model_score:.3f}")
print(f"Baseline: {baseline_score:.3f}")

Für Computer Vision legen Klassifikationsvorhersagen von Ultralytics YOLO26 Klassenwahrscheinlichkeiten über den Predict mode offen. Erfasse diese Wahrscheinlichkeiten auf beschrifteten, zurückgehaltenen Bildern, bevor du den Score berechnest. Kombiniere das Ergebnis mit dem Ultralytics validation mode und dem YOLO performance metrics guide, anstatt es als Ersatz für aufgabenspezifische Metriken zu betrachten.

Berechne den Score nach der Bereitstellung neu, sobald neue Ground-Truth-Labels verfügbar sind. Die Ultralytics Platform deployment monitoring kann den umgebenden operativen Workflow unterstützen, während wiederkehrende beschriftete Evaluierungen dabei helfen, Kalibrierungsänderungen zu erkennen, die durch Data Drift verursacht wurden.