Brier Score

Le score de Brier mesure la précision des prédictions probabilistes en calculant la moyenne des carrés des écarts entre chaque probabilité prédite et le résultat réel, codé 1 si l’événement s’est produit et 0 sinon. Pour les événements binaires, il va de 0, score parfait, à 1 ; un modèle qui prédit toujours 0,5 obtient exactement 0,25. Le météorologue Glenn W. Brier l’a introduit en 1950 pour vérifier les prévisions météorologiques probabilistes. Il sert aujourd’hui à évaluer les modèles de risque clinique, les concours de prévision et les classificateurs d’apprentissage automatique (ML). Il évalue directement les probabilités, avant que tout seuil ne les transforme en décisions ; il distingue donc une prédiction hésitante mais correcte de 0,51 d’une prédiction assurée de 0,99, alors que la précision, la précision positive et le rappel les comptent de la même manière.

Calcul du score de Brier#

Pour N prédictions de probabilité p et de résultat o, le score de Brier correspond à la moyenne de (p − o)². Un modèle qui prédit une probabilité de 80 % qu’un défaut survienne est pénalisé de 0,04 si le défaut est présent, (0,8 − 1)², et de 0,64 dans le cas contraire, (0,8 − 0)² ; les erreurs assurées coûtent donc bien plus cher que les erreurs hésitantes. Le score de Brier est une règle de notation strictement propre : un modèle obtient le meilleur score attendu uniquement en annonçant les probabilités auxquelles il croit réellement. Il ne peut donc pas gagner en orientant ses prédictions vers 0 ou 1.

Pour plus de deux classes, les écarts au carré entre le vecteur de probabilités prédites et le vecteur one-hot de la vraie classe sont additionnés sur les classes, puis moyennés sur les exemples. Cette forme multiclasse, la définition d’origine de Brier, va de 0 à 2. La fonction brier_score_loss de scikit-learn accepte les deux cas et, par défaut, divise par deux le score binaire pour obtenir la plage habituelle de 0 à 1, tout en conservant la plage de 0 à 2 pour les entrées multiclasse. Les scores de différents outils ne sont donc comparables que si la même convention est utilisée.

Interprétation du score de Brier#

Un score de Brier n’a pas de valeur universelle considérée comme « bonne », car il dépend de la fréquence de l’événement. Un modèle qui prédit toujours la fréquence de base p obtient p(1 − p) : 0,09 pour un événement qui survient dans 10 % des cas et 0,25 pour un événement qui survient une fois sur deux. Le score de compétence de Brier, BSS = 1 − BS / BS_ref, compare un modèle à une telle prévision de référence : 0 signifie qu’il ne fait pas mieux que la référence, 1 correspond à un résultat parfait et les valeurs négatives sont inférieures à la référence.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

Le script affiche un score de modèle de 0,098, contre 0,240 pour une prédiction constante du taux de défaut de 40 %, soit un score de compétence de 0,59. Cela signifie que le modèle réduit de 59 % l’erreur quadratique de la prévision de référence. Sa pénalité individuelle la plus élevée, 0,42, provient de la pièce défectueuse qu’il n’avait évaluée qu’à 0,35.

La décomposition de Murphy (1973) divise le score en trois parties : BS = fiabilité − résolution + incertitude. La fiabilité mesure le calibrage, c’est-à-dire l’écart entre les probabilités prédites et les fréquences observées pour les cas auxquels elles ont été attribuées, et doit être faible. La résolution mesure la capacité des prédictions à distinguer les cas ayant des résultats différents et doit être élevée. L’incertitude correspond au terme du taux de base p(1 − p) et dépend uniquement des données. Un modèle qui prédit toujours le taux de base est parfaitement calibré, mais sa résolution est nulle ; son score est donc égal au terme d’incertitude.

Score de Brier et métriques connexes#

• Perte logarithmique : C’est aussi une règle de notation strictement propre, calculée à partir du logarithme de la probabilité attribuée au résultat réel. Elle pénalise bien plus sévèrement les erreurs assurées : une prédiction de 0,99 pour un événement qui ne se produit pas coûte 0,98 au score de Brier et 4,6 à la perte logarithmique ; une prédiction exactement égale à 0 pour un événement qui se produit rend la perte logarithmique infinie.
• Erreur de calibrage attendue (ECE) : Mesure uniquement le calibrage en regroupant les prédictions selon leur confiance, puis en calculant l’écart moyen entre la confiance et la précision. Elle ignore la résolution : un modèle qui prédit toujours le taux de base peut donc obtenir un ECE parfait.
• Aire sous la courbe (AUC) : Mesure la capacité des scores à classer les exemples positifs au-dessus des exemples négatifs. Elle ne change pas avec les opérations de calibrage qui préservent cet ordre, comme la mise à l’échelle de température d’un classificateur binaire.
• Confiance : Score qu’un modèle associe à une prédiction. Le score de Brier vérifie si ces scores se comportent comme des probabilités ; des scores trop assurés l’augmentent via le terme de fiabilité.

Score de Brier en vision par ordinateur#

Les classificateurs d’images qui produisent des probabilités sont évalués au moyen du score de Brier sur des images étiquetées mises de côté. Son recalcul sur de nouvelles images de production étiquetées indique si le calibrage se maintient lorsque les entrées évoluent sous l’effet de la dérive des données. Les modèles de classification YOLO26 renvoient une distribution softmax complète sur leurs classes dans result.probs.data. Le score de Brier multiclasse d’un classificateur YOLO26 affiné correspond donc, sur les images mises de côté, à la moyenne des sommes des écarts au carré entre ce vecteur et l’étiquette réelle au format one-hot.