Brier Score

Der Brier-Score misst die Genauigkeit probabilistischer Vorhersagen als mittlere quadrierte Abweichung zwischen jeder vorhergesagten Wahrscheinlichkeit und dem tatsächlichen Ergebnis. Dabei wird das Ergebnis mit 1 codiert, wenn das Ereignis eingetreten ist, und mit 0, wenn nicht. Für binäre Ereignisse reicht der Wert von 0 – einem perfekten Ergebnis – bis 1. Ein Modell, das immer 0,5 vorhersagt, erzielt genau 0,25. Der Meteorologe Glenn W. Brier führte den Score 1950 zur Überprüfung probabilistischer Wettervorhersagen ein. Heute wird er zur Bewertung von klinischen Risikomodellen, Prognosewettbewerben und Klassifikatoren für maschinelles Lernen (ML) verwendet. Er bewertet die Wahrscheinlichkeiten selbst, bevor ein Schwellenwert sie in Entscheidungen umwandelt. So unterscheidet er zwischen einer zögerlichen korrekten Vorhersage von 0,51 und einer selbstsicheren von 0,99, obwohl Genauigkeit, Präzision und Trefferquote beide gleich bewerten.

So wird der Brier-Score berechnet#

Für N Vorhersagen mit Wahrscheinlichkeit p und Ergebnis o entspricht der Brier-Score dem Mittelwert von (p − o)². Ein Modell, das eine Wahrscheinlichkeit von 80 % für einen Defekt vorhersagt, erhält bei vorhandenem Defekt eine Strafe von 0,04, also (0,8 − 1)², und bei fehlendem Defekt eine Strafe von 0,64, also (0,8 − 0)². Selbstsichere Fehler kosten daher weit mehr als zögerliche. Der Brier-Score ist eine strikt propriate Bewertungsregel: Den besten erwarteten Wert erzielt ein Modell nur, wenn es die Wahrscheinlichkeiten angibt, an die es tatsächlich glaubt. Es kann also keinen Vorteil daraus ziehen, seine Vorhersagen in Richtung 0 oder 1 zu verschieben.

Bei mehr als zwei Klassen werden die quadrierten Abweichungen zwischen dem vorhergesagten Wahrscheinlichkeitsvektor und dem One-Hot-Vektor der tatsächlichen Klasse über die Klassen summiert und über alle Beispiele gemittelt. Diese Mehrklassenvariante, die Bri ers ursprünglicher Definition entspricht, reicht von 0 bis 2. Die Funktion brier_score_loss von scikit-learn akzeptiert beide Fälle. Standardmäßig halbiert sie den binären Score auf den üblichen Wertebereich von 0 bis 1 und behält für Eingaben mit mehreren Klassen den Bereich von 0 bis 2 bei. Daher sind Scores aus unterschiedlichen Tools nur bei gleicher Konvention vergleichbar.

Einen Brier-Score interpretieren#

Für den Brier-Score gibt es keinen allgemeingültigen Wert für „gut“, da er davon abhängt, wie häufig das Ereignis eintritt. Ein Modell, das immer die Basisrate p vorhersagt, erzielt p(1 − p): 0,09 bei einem Ereignis, das in 10 % der Fälle eintritt, und 0,25 bei einem Ereignis, das in der Hälfte der Fälle eintritt. Der Brier Skill Score, BSS = 1 − BS / BS_ref, vergleicht ein Modell mit einer solchen Referenzvorhersage: 0 bedeutet nicht besser als die Referenz, 1 ist perfekt, und negative Werte sind schlechter als die Referenz.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

Das Skript gibt einen Modell-Score von 0,098 aus, verglichen mit 0,240, wenn immer die Defektrate von 40 % vorhergesagt wird. Der Skill Score beträgt 0,59. Das bedeutet, dass das Modell 59 % des quadrierten Fehlers der Referenzvorhersage vermeidet. Die größte Einzelstrafe von 0,42 ergibt sich für das fehlerhafte Teil, dessen Defektwahrscheinlichkeit es nur mit 0,35 bewertet hat.

Murphys Zerlegung von 1973 teilt den Score in drei Bestandteile auf: BS = Zuverlässigkeit − Auflösung + Unsicherheit. Die Zuverlässigkeit misst die Kalibrierung, also wie stark vorhergesagte Wahrscheinlichkeiten von den beobachteten Häufigkeiten der Fälle abweichen, denen sie zugewiesen wurden, und sollte niedrig sein. Die Auflösung misst, wie gut die Vorhersagen Fälle mit unterschiedlichen Ergebnissen voneinander trennen, und sollte hoch sein. Die Unsicherheit entspricht dem Basisratenterm p(1 − p) und hängt nur von den Daten ab. Ein Modell, das immer die Basisrate vorhersagt, ist perfekt kalibriert und hat eine Auflösung von null. Sein Score entspricht daher dem Unsicherheitsterm.

Brier-Score im Vergleich zu verwandten Metriken#

• Log-Loss: Ebenfalls eine strikt propriate Bewertungsregel, berechnet anhand des Logarithmus der Wahrscheinlichkeit, die dem tatsächlichen Ergebnis zugewiesen wurde. Sie bestraft selbstsichere Fehler deutlich stärker: Eine Vorhersage von 0,99 für ein Ereignis, das nicht eintritt, verursacht beim Brier-Score Kosten von 0,98 und beim Log-Loss von 4,6. Eine Vorhersage von genau 0 für ein tatsächlich eintretendes Ereignis führt zu einem unendlichen Log-Loss.
• Erwarteter Kalibrierungsfehler (ECE): Misst ausschließlich die Kalibrierung, indem Vorhersagen nach ihrer Konfidenz in Gruppen eingeteilt und die Abweichungen zwischen Konfidenz und Genauigkeit gemittelt werden. Die Auflösung bleibt unberücksichtigt. Daher kann ein Modell, das immer die Basisrate vorhersagt, einen perfekten ECE erzielen.
• Fläche unter der Kurve (AUC): Misst, wie gut Scores positive Fälle vor negativen einordnen. Sie bleibt bei jeder Kalibrierung unverändert, die diese Reihenfolge beibehält, beispielsweise bei der Temperaturskalierung eines binären Klassifikators.
• Konfidenz: Der Score, den ein Modell einer Vorhersage zuordnet. Der Brier-Score prüft, ob sich diese Scores wie Wahrscheinlichkeiten verhalten. Übermäßig hohe Konfidenz lässt den Score über den Zuverlässigkeitsterm ansteigen.

Der Brier-Score in der Computer Vision#

Bildklassifikatoren, die Wahrscheinlichkeiten ausgeben, werden anhand von beschrifteten zurückgehaltenen Bildern mit dem Brier-Score bewertet. Eine erneute Berechnung anhand neu beschrifteter Produktionsbilder zeigt, ob die Kalibrierung bestehen bleibt, wenn sich Eingaben durch Datenverschiebung verändern. YOLO26-Klassifikationsmodelle geben über ihre Klassen in result.probs.data eine vollständige Softmax-Verteilung zurück. Der Mehrklassen-Brier-Score eines feinabgestimmten YOLO26-Klassifikators entspricht daher dem Mittelwert über zurückgehaltene Bilder der Summe der quadrierten Abweichungen zwischen diesem Vektor und der One-Hot-Kennzeichnung der tatsächlichen Klasse.