Brier Score

Le score de Brier mesure la précision des prédictions probabilistes en faisant la moyenne de la différence au carré entre chaque probabilité prédite et le résultat qui s'est réellement produit. Un score de 0 représente des prédictions parfaites ; des valeurs plus élevées indiquent que les prédictions étaient moins précises, moins bien calibrées, ou les deux. Contrairement aux mesures basées uniquement sur les étiquettes de classe finales, le score de Brier évalue si un modèle d'apprentissage automatique attribue des probabilités sensées.

Fonctionnement du score de Brier#

Pour la classification binaire, code le résultat par 1 lorsqu'un événement se produit et par 0 lorsqu'il ne se produit pas. Pour chaque exemple, calcule (predicted probability - outcome) squared, puis fais la moyenne de ces valeurs.

Supposons qu'un modèle prédise une probabilité de 80 % qu'une image contienne un défaut :

• Si le défaut est présent, l'erreur quadratique est (0.8 - 1) squared, soit 0,04.
• Si aucun défaut n'est présent, l'erreur est (0.8 - 0) squared, soit 0,64.

La seconde prédiction reçoit une pénalité beaucoup plus importante parce que le modèle s'est trompé avec assurance. Cela fait du score de Brier une règle de score strictement propre : en moyenne, un prévisionniste obtient le meilleur score en rapportant son estimation de probabilité honnête. La documentation sur la perte du score de Brier de scikit-learn fournit une implémentation standard.

Pour les problèmes binaires, la plage conventionnelle va de 0 à 1. Les versions multiclasses additionnent les erreurs quadratiques pour chaque classe, de sorte que leur plage peut aller de 0 à 2 à moins d'être divisée par deux. Comme les bibliothèques utilisent différentes conventions de mise à l'échelle, telles que l'approche rééchelonnée dans le score de Brier multiclasse de yardstick, les comparaisons doivent utiliser la même implémentation et les mêmes paramètres.

Interprétation d'un bon score de Brier#

Plus il est bas, mieux c'est, mais il n'y a pas de seuil universel pour un « bon » score de Brier. Sa signification dépend de la prévalence de l'événement, de la difficulté du jeu de données et de la qualité d'une référence raisonnable.

Par exemple, si un événement se produit dans 10 % des cas, un modèle qui prédit toujours 0,10 reçoit un score attendu de 0,09. Un modèle utile doit généralement s'améliorer par rapport à cette référence basée sur la prévalence. L'évaluation doit utiliser des données de validation représentatives, avec des rapports distincts pour les classes importantes, les environnements d'exploitation ou les groupes démographiques.

Le score reflète deux propriétés connexes :

• Calibration : Les prédictions de 0,80 doivent être correctes environ 80 % du temps. Les méthodes de calibration des probabilités et les diagrammes de fiabilité peuvent révéler un excès de confiance ou un manque de confiance systématique.
• Résolution : Les prédictions doivent séparer de manière significative les événements probables des événements peu probables. Un modèle qui prédit toujours le taux de base peut être calibré dans l'ensemble mais fournit peu d'informations spécifiques au cas.

Un score agrégé unique peut masquer des problèmes locaux. Associe-le à une courbe de calibration, à une analyse de sous-groupes et à une quantification de l'incertitude plus large.

Score de Brier vs mesures associées#

• Exactitude, précision et rappel : Ceux-ci évaluent les décisions discrètes après l'application d'un seuil. Le score de Brier évalue les probabilités avant le seuillage, distinguant une prédiction correcte prudente de 0,51 d'une prédiction confiante de 0,99.

• ROC AUC : L'AUC mesure le classement – c'est-à-dire si les positifs ont tendance à recevoir des scores plus élevés que les négatifs. Un modèle peut classer correctement les cas tout en produisant des probabilités mal calibrées.

• Perte logarithmique : Les deux sont des règles de score propres, mais la perte logarithmique pénalise plus sévèrement les erreurs extrêmement confiantes. L'interprétation de l'erreur quadratique du score de Brier est souvent plus facile à expliquer.

• Confiance : La sortie d'un modèle étiquetée « confiance » n'est pas automatiquement une probabilité d'événement calibrée. Sa signification doit être validée avant d'appliquer le score de Brier.

Applications concrètes#

En triage d'images médicales, un modèle de classification d'images peut estimer la probabilité qu'un scan contienne une anomalie. Le score de Brier peut évaluer si ces probabilités correspondent aux diagnostics observés, ce qui importe lorsque les règles d'orientation traitent une estimation de 90 % différemment d'une estimation de 55 %.

En inspection visuelle de fabrication, un modèle peut estimer la probabilité qu'un produit soit défectueux. Des prédictions bien calibrées favorisent le routage basé sur les risques : les cas à forte probabilité peuvent être rejetés, les cas incertains envoyés pour une inspection humaine et les cas à faible probabilité acceptés. Une mauvaise calibration peut entraîner des défauts non détectés ou des déchets inutiles. Le NIST AI Risk Management Framework Core met l'accent sur la mesure de l'incertitude et la surveillance des performances dans les systèmes déployés.

Flux de travail d'évaluation pratique#

L'exemple suivant calcule le score d'un modèle et le compare à une référence de prévalence constante :

from sklearn.metrics import brier_score_loss

# Binary outcomes and predicted event probabilities
y_true = [0, 1, 1, 0, 1, 0]
y_probability = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40]

model_score = brier_score_loss(y_true, y_probability)

# Compare against always predicting the observed event rate
event_rate = sum(y_true) / len(y_true)
baseline_probability = [event_rate] * len(y_true)
baseline_score = brier_score_loss(y_true, baseline_probability)

print(f"Model: {model_score:.3f}")
print(f"Baseline: {baseline_score:.3f}")

Pour la vision par ordinateur, les prédictions de classification Ultralytics YOLO26 exposent les probabilités de classe via le mode Predict. Collecte ces probabilités sur des images étiquetées mises de côté avant de calculer le score. Combine le résultat avec le mode de validation d'Ultralytics et le guide des métriques de performance de YOLO plutôt que de le traiter comme un remplacement des métriques spécifiques à la tâche.

Après le déploiement, recalcule le score lorsque de nouvelles étiquettes de vérité terrain deviennent disponibles. La surveillance du déploiement de la plateforme Ultralytics peut soutenir le flux de travail opérationnel environnant, tandis que les évaluations étiquetées récurrentes aident à détecter les changements de calibration causés par la dérive des données.