Brier Score

La puntuación de Brier mide la precisión de las predicciones probabilísticas como la diferencia cuadrática media entre cada probabilidad predicha y el resultado real, codificado como 1 si el suceso ocurrió y 0 si no ocurrió. Para sucesos binarios, va de 0 —puntuación perfecta— a 1; un modelo que siempre predice 0,5 obtiene exactamente 0,25. El meteorólogo Glenn W. Brier la introdujo en 1950 para verificar las previsiones meteorológicas probabilísticas; hoy se utiliza para evaluar modelos de riesgo clínico, competiciones de predicción y clasificadores de aprendizaje automático (ML). Evalúa las probabilidades en sí, antes de que un umbral las convierta en decisiones, de modo que distingue una predicción correcta pero poco segura de 0,51 de otra de 0,99 con mucha confianza, aunque la precisión, la precisión positiva y la exhaustividad las consideran iguales.

Cómo se calcula la puntuación de Brier#

Para N predicciones con una probabilidad p y un resultado o, la puntuación de Brier es la media de (p − o)². Si un modelo predice un 80 % de probabilidad de que haya un defecto, recibe una penalización de 0,04 si el defecto está presente, (0,8 − 1)², y de 0,64 si no está, (0,8 − 0)²; por tanto, los errores de alta confianza cuestan mucho más que los de baja confianza. La puntuación de Brier es una regla de puntuación estrictamente propia: un modelo solo obtiene su mejor puntuación esperada si informa de las probabilidades que realmente considera correctas, así que no puede mejorar sesgando las predicciones hacia 0 o 1.

Para más de dos clases, se suman las diferencias cuadráticas entre el vector de probabilidades predichas y el vector one-hot de la clase verdadera para todas las clases, y se calcula la media entre los ejemplos. Esta forma multiclase, la definición original de Brier, va de 0 a 2. La función brier_score_loss de scikit-learn acepta ambos casos y, de forma predeterminada, divide por dos la puntuación binaria para ajustarla al intervalo habitual de 0 a 1, mientras mantiene el intervalo de 0 a 2 para entradas multiclase; por tanto, las puntuaciones de distintas herramientas solo son comparables si utilizan la misma convención.

Cómo interpretar la puntuación de Brier#

La puntuación de Brier no tiene un valor «bueno» universal, porque depende de la frecuencia del suceso. Un modelo que siempre predice la tasa base p obtiene p(1 − p): 0,09 para un suceso que ocurre el 10 % de las veces y 0,25 para uno que ocurre la mitad de las veces. La puntuación de habilidad de Brier, BSS = 1 − BS / BS_ref, compara un modelo con una previsión de referencia de este tipo: 0 significa que no supera la referencia, 1 es perfecto y los valores negativos son peores que la referencia.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

El script imprime una puntuación del modelo de 0,098, frente a 0,240 para un modelo que siempre predice la tasa de defectos del 40 %: una puntuación de habilidad de 0,59, lo que significa que el modelo elimina el 59 % del error cuadrático de la previsión de referencia. La mayor penalización individual, 0,42, corresponde a la pieza defectuosa cuya probabilidad el modelo estimó en solo 0,35.

La descomposición de Murphy de 1973 divide la puntuación en tres partes: BS = fiabilidad − resolución + incertidumbre. La fiabilidad mide la calibración: cuánto se alejan las probabilidades predichas de las frecuencias observadas para los casos a los que se asignaron; debería ser baja. La resolución mide cuánto separan las predicciones los casos con distintos resultados; debería ser alta. La incertidumbre equivale al término de tasa base p(1 − p) y depende solo de los datos. Un modelo que siempre predice la tasa base está perfectamente calibrado y tiene una resolución nula, así que su puntuación equivale al término de incertidumbre.

Puntuación de Brier frente a métricas relacionadas#

• Pérdida logarítmica: También es una regla de puntuación estrictamente propia y se calcula a partir del logaritmo de la probabilidad asignada al resultado real. Penaliza mucho más los errores de alta confianza: predecir 0,99 para un suceso que no ocurre cuesta 0,98 en puntuación de Brier y 4,6 en pérdida logarítmica; predecir exactamente 0 para un suceso que ocurre genera una pérdida logarítmica infinita.
• Error de calibración esperado (ECE): Mide únicamente la calibración, agrupando las predicciones por confianza y calculando la media de la diferencia entre la confianza y la precisión. Ignora la resolución, así que un modelo que siempre predice la tasa base puede obtener un ECE perfecto.
• Área bajo la curva (AUC): Mide la capacidad de las puntuaciones para situar los positivos por encima de los negativos; no cambia con ninguna calibración que mantenga ese orden, como el escalado de temperatura de un clasificador binario.
• Confianza: Puntuación que un modelo asigna a una predicción. La puntuación de Brier comprueba si esas puntuaciones se comportan como probabilidades; la sobreconfianza aumenta la puntuación a través del término de fiabilidad.

La puntuación de Brier en visión artificial#

Los clasificadores de imágenes que generan probabilidades se evalúan con la puntuación de Brier en imágenes reservadas etiquetadas; recalcularla en imágenes de producción recién etiquetadas permite comprobar si se mantiene la calibración cuando las entradas cambian por la deriva de datos. Los modelos de clasificación YOLO26 devuelven una distribución softmax completa sobre sus clases en result.probs.data, así que la puntuación de Brier multiclase de un clasificador YOLO26 ajustado es la media, sobre las imágenes reservadas, de las diferencias cuadráticas sumadas entre ese vector y la etiqueta verdadera one-hot.