Brier Score

Il Brier Score misura l'accuratezza delle previsioni probabilistiche calcolando la media della differenza al quadrato tra ciascuna probabilità prevista e il risultato effettivamente verificatosi. Un punteggio pari a 0 rappresenta previsioni perfette; valori più elevati indicano che le previsioni sono state meno accurate, calibrate peggio o entrambe le cose. A differenza delle metriche basate solo sulle etichette di classe finali, il Brier Score valuta se un machine learning model assegna probabilità sensate.

Come funziona il Brier Score#

Per la classificazione binaria, codifica il risultato come 1 quando si verifica un evento e 0 quando non si verifica. Per ogni esempio, calcola (predicted probability - outcome) squared, quindi calcola la media di tali valori.

Supponi che un modello preveda una probabilità dell'80% che un'immagine contenga un difetto:

• Se il difetto è presente, l'errore quadratico è (0.8 - 1) squared, ovvero 0,04.
• Se non è presente alcun difetto, l'errore è (0.8 - 0) squared, ovvero 0,64.

La seconda previsione riceve una penalità molto maggiore perché il modello era erroneamente sicuro di sé. Ciò rende il Brier Score una regola di punteggio strettamente propria: in media, un previsore ottiene il punteggio migliore riportando la propria stima di probabilità onesta. La scikit-learn Brier score loss documentation fornisce un'implementazione standard.

Per i problemi binari, l'intervallo convenzionale va da 0 a 1. Le versioni multiclasse sommano gli errori al quadrato per ciascuna classe, quindi il loro intervallo può variare da 0 a 2 a meno che non venga diviso per due. Poiché le librerie utilizzano convenzioni di scala differenti, come l'approccio riscalato nel yardstick’s multiclass Brier Score, i confronti dovrebbero utilizzare la stessa implementazione e le stesse impostazioni.

Interpretare un buon Brier Score#

Un valore più basso è migliore, ma non esiste una soglia universale per un "buon" Brier Score. Il suo significato dipende dalla prevalenza dell'evento, dalla difficoltà del set di dati e dalla qualità di una baseline ragionevole.

Ad esempio, se un evento si verifica nel 10% dei casi, un modello che prevede sempre 0,10 riceve un punteggio atteso di 0,09. Un modello utile dovrebbe generalmente migliorare rispetto a tale baseline basata sulla prevalenza. La valutazione dovrebbe utilizzare validation data rappresentativi, con report separati per classi importanti, ambienti operativi o gruppi demografici.

Il punteggio riflette due proprietà correlate:

• Calibrazione: Le previsioni di 0,80 dovrebbero essere corrette approssimativamente l'80% delle volte. I Probability calibration methods e i diagrammi di affidabilità possono rivelare un'eccessiva o insufficiente sicurezza sistematica.
• Risoluzione: Le previsioni dovrebbero separare in modo significativo gli eventi probabili da quelli improbabili. Un modello che prevede sempre il tasso di base può essere calibrato nel complesso ma fornisce poche informazioni specifiche sul caso.

Un singolo punteggio aggregato può nascondere problemi locali. Abbinalo a una calibration curve, a un'analisi dei sottogruppi e a una più ampia uncertainty quantification.

Brier Score e metriche correlate#

• Accuracy, precision, and recall: Valutano decisioni discrete dopo l'applicazione di una soglia. Il Brier Score valuta le probabilità prima della sogliatura, distinguendo una previsione corretta ma cauta di 0,51 da una sicura di 0,99.

• ROC AUC: L'AUC misura il ranking, ovvero se i positivi tendono a ricevere punteggi più alti rispetto ai negativi. Un modello può classificare correttamente i casi pur producendo probabilità scarsamente calibrate.

• Log loss: Entrambe sono regole di punteggio proprie, ma la log loss penalizza in modo più marcato gli errori estremamente sicuri. L'interpretazione basata sull'errore quadratico del Brier Score è spesso più facile da spiegare.

• Confidence: L'output di un modello etichettato come "confidence" non è automaticamente una probabilità di evento calibrata. Il suo significato deve essere convalidato prima di applicare il Brier Score.

Applicazioni nel mondo reale#

Nel triage di immagini mediche, un modello di image classification potrebbe stimare la probabilità che una scansione contenga un'anomalia. Il Brier Score può valutare se tali probabilità corrispondono alle diagnosi osservate, aspetto fondamentale quando le regole di riferimento trattano una stima del 90% in modo diverso da una stima del 55%.

Nell'ispezione visiva industriale, un modello può stimare la probabilità che un prodotto sia difettoso. Previsioni ben calibrate supportano il routing basato sul rischio: i casi ad alta probabilità possono essere scartati, quelli incerti inviati all'ispezione umana e quelli a bassa probabilità accettati. Una scarsa calibrazione può causare difetti sfuggiti ai controlli o sprechi non necessari. Il NIST AI Risk Management Framework Core enfatizza la misurazione dell'incertezza e il monitoraggio delle prestazioni nei sistemi distribuiti.

Flusso di lavoro di valutazione pratica#

Il seguente esempio calcola il punteggio di un modello e lo confronta con una baseline di prevalenza costante:

from sklearn.metrics import brier_score_loss

# Binary outcomes and predicted event probabilities
y_true = [0, 1, 1, 0, 1, 0]
y_probability = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40]

model_score = brier_score_loss(y_true, y_probability)

# Compare against always predicting the observed event rate
event_rate = sum(y_true) / len(y_true)
baseline_probability = [event_rate] * len(y_true)
baseline_score = brier_score_loss(y_true, baseline_probability)

print(f"Model: {model_score:.3f}")
print(f"Baseline: {baseline_score:.3f}")

Per la computer vision, le previsioni di classificazione di Ultralytics YOLO26 espongono le probabilità di classe tramite la Predict mode. Raccogli queste probabilità su immagini etichettate di test prima di calcolare il punteggio. Combina il risultato con la Ultralytics validation mode e la YOLO performance metrics guide anziché considerarlo un sostituto delle metriche specifiche per attività.

Dopo il deployment, ricalcola il punteggio quando diventano disponibili nuove etichette di ground-truth. Il Ultralytics Platform deployment monitoring può supportare il flusso di lavoro operativo circostante, mentre le valutazioni etichettate periodiche aiutano a rilevare i cambiamenti di calibrazione causati dalla deriva dei dati (data drift).