Brier Score

Il punteggio di Brier misura l'accuratezza delle previsioni probabilistiche calcolando la differenza quadratica media tra ogni probabilità prevista e il risultato effettivo, codificato come 1 se l'evento si è verificato e 0 altrimenti. Per gli eventi binari va da 0, punteggio perfetto, a 1; un modello che prevede sempre 0,5 ottiene esattamente 0,25. Il meteorologo Glenn W. Brier lo introdusse nel 1950 per verificare previsioni meteorologiche probabilistiche; oggi viene usato per valutare modelli di rischio clinico, tornei di previsione e classificatori di machine learning (ML). Valuta direttamente le probabilità, prima che una soglia le trasformi in decisioni, quindi distingue una previsione corretta ma incerta di 0,51 da una sicura di 0,99, che accuratezza, precisione e recall considerano equivalenti.

Come si calcola il punteggio di Brier#

Per N previsioni con probabilità p e risultato o, il punteggio di Brier è la media di (p − o)². Se un modello prevede una probabilità dell'80% che si verifichi un difetto, viene penalizzato di 0,04 se il difetto è presente, (0,8 − 1)², e di 0,64 se non lo è, (0,8 − 0)²: gli errori sicuri costano molto più di quelli incerti. Il punteggio di Brier è una regola di punteggio strettamente propria: un modello ottiene il miglior punteggio atteso solo se riporta le probabilità a cui crede davvero, quindi non può migliorare avvicinando le previsioni a 0 o a 1.

Con più di due classi, le differenze al quadrato tra il vettore delle probabilità previste e il vettore one-hot della classe effettiva vengono sommate tra le classi e mediate sugli esempi. Questa versione multiclasse, la definizione originale di Brier, varia da 0 a 2. La funzione brier_score_loss di scikit-learn accetta entrambi i casi e, per impostazione predefinita, dimezza il punteggio binario per riportarlo all'intervallo consueto da 0 a 1, mantenendo l'intervallo da 0 a 2 per gli input multiclasse; i punteggi prodotti da strumenti diversi sono quindi confrontabili solo se adottano la stessa convenzione.

Interpretare il punteggio di Brier#

Non esiste un valore «buono» universale per il punteggio di Brier, perché dipende dalla frequenza dell'evento. Un modello che prevede sempre il tasso di base p ottiene p(1 − p): 0,09 per un evento che si verifica nel 10% dei casi e 0,25 per uno che si verifica nella metà dei casi. Il punteggio di abilità di Brier, BSS = 1 − BS / BS_ref, confronta un modello con una previsione di riferimento di questo tipo: 0 significa che non è migliore del riferimento, 1 è perfetto e i valori negativi sono peggiori del riferimento.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

Lo script stampa un punteggio del modello di 0,098, contro 0,240 ottenuto prevedendo sempre il tasso di difetti del 40%: il punteggio di abilità è 0,59, il che significa che il modello elimina il 59% dell'errore quadratico della previsione di riferimento. La penalità singola più alta, 0,42, deriva dal componente difettoso a cui aveva assegnato una probabilità di appena 0,35.

La scomposizione di Murphy del 1973 suddivide il punteggio in tre parti: BS = affidabilità − risoluzione + incertezza. L'affidabilità misura la calibrazione, cioè quanto le probabilità previste si discostano dalle frequenze osservate dei casi a cui sono state assegnate, e dovrebbe essere bassa. La risoluzione misura quanto le previsioni distinguono i casi con risultati diversi e dovrebbe essere alta. L'incertezza corrisponde al termine del tasso di base p(1 − p) e dipende solo dai dati. Un modello che prevede sempre il tasso di base è perfettamente calibrato e ha risoluzione zero, quindi il suo punteggio equivale al termine di incertezza.

Brier Score a confronto con metriche correlate#

• Log loss: Anche questa è una regola di punteggio strettamente propria, calcolata usando il logaritmo della probabilità assegnata al risultato effettivo. Penalizza molto più severamente gli errori sicuri: prevedere 0,99 per un evento che non si verifica costa 0,98 nel punteggio di Brier e 4,6 nella log loss; una previsione pari esattamente a 0 per un evento che si verifica rende infinita la log loss.
• Errore di calibrazione atteso (ECE): Misura solo la calibrazione, suddividendo le previsioni in intervalli di confidenza e calcolando la media dello scarto tra confidenza e accuratezza. Ignora la risoluzione, quindi un modello che prevede sempre il tasso di base può ottenere un ECE perfetto.
• Area sotto la curva (AUC): Misura quanto bene i punteggi ordinano i positivi prima dei negativi e non cambia con calibrazioni che preservano tale ordine, come la scalatura della temperatura di un classificatore binario.
• Confidenza: Il punteggio che un modello associa a una previsione. Il punteggio di Brier verifica se questi punteggi si comportano come probabilità; i punteggi troppo sicuri lo aumentano attraverso il termine di affidabilità.

Il punteggio di Brier nella visione artificiale#

I classificatori di immagini che restituiscono probabilità vengono valutati con il punteggio di Brier su immagini etichettate tenute da parte; ricalcolandolo su immagini di produzione appena etichettate si verifica se la calibrazione regge al variare degli input a causa della deriva dei dati. I modelli di classificazione YOLO26 restituiscono in result.probs.data una distribuzione softmax completa sulle classi, quindi il punteggio di Brier multiclasse di un classificatore YOLO26 perfezionato è la media, sulle immagini tenute da parte, delle differenze al quadrato tra tale vettore e l'etichetta vera in formato one-hot, sommate tra loro.