Brier Score

A pontuação de Brier mede a precisão das previsões probabilísticas como a diferença quadrática média entre cada probabilidade prevista e o resultado real, codificado como 1 se o evento ocorreu e como 0 se não ocorreu. Para eventos binários, vai de 0, uma pontuação perfeita, até 1, e um modelo que sempre prevê 0,5 obtém exatamente 0,25. O meteorologista Glenn W. Brier a apresentou em 1950 para verificar previsões meteorológicas probabilísticas; hoje, ela é usada na avaliação de modelos de risco clínico, competições de previsão e classificadores de aprendizado de máquina (ML). A pontuação avalia as próprias probabilidades, antes que algum limite as transforme em decisões. Assim, distingue uma previsão correta, mas hesitante, de 0,51 de uma previsão confiante de 0,99, embora precisão, precisão positiva e revocação contem as duas da mesma forma.

Como calcular a pontuação de Brier#

Para N previsões com probabilidade p e resultado o, a pontuação de Brier é a média de (p − o)². Um modelo que prevê 80% de chance de um defeito recebe uma penalidade de 0,04 se o defeito estiver presente, (0,8 − 1)², e de 0,64 se não estiver, (0,8 − 0)². Portanto, erros confiantes custam muito mais do que os hesitantes. A pontuação de Brier é uma regra de pontuação estritamente própria: o modelo só obtém a melhor pontuação esperada quando informa as probabilidades em que realmente acredita, portanto não consegue melhorar inclinando as previsões para 0 ou 1.

Para mais de duas classes, as diferenças quadráticas entre o vetor de probabilidades previsto e o vetor one-hot da classe verdadeira são somadas entre as classes e calculadas em média entre os exemplos. Essa forma multiclasse, a definição original de Brier, varia de 0 a 2. A função brier_score_loss do scikit-learn aceita ambos os casos e, por padrão, divide por dois a pontuação binária para usar o intervalo habitual de 0 a 1, mantendo o intervalo de 0 a 2 para entradas multiclasse. Por isso, só é possível comparar pontuações de ferramentas diferentes quando elas usam a mesma convenção.

Como interpretar a pontuação de Brier#

A pontuação de Brier não tem um valor "bom" universal, pois depende da frequência do evento. Um modelo que sempre prevê a taxa de base p obtém p(1 − p): 0,09 para um evento que ocorre 10% das vezes e 0,25 para um que ocorre metade das vezes. A pontuação de habilidade de Brier, BSS = 1 − BS / BS_ref, compara o modelo com essa previsão de referência: 0 significa que não é melhor do que a referência, 1 é perfeito e valores negativos são piores do que a referência.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

O script imprime uma pontuação de 0,098 para o modelo, contra 0,240 para a previsão constante de uma taxa de defeitos de 40%, o que resulta em uma pontuação de habilidade de 0,59. Isso significa que o modelo elimina 59% do erro quadrático da previsão de referência. Sua maior penalidade individual, 0,42, vem da peça defeituosa à qual atribuiu apenas 0,35.

A decomposição de Murphy de 1973 divide a pontuação em três partes: BS = confiabilidade − resolução + incerteza. A confiabilidade mede a calibração, ou seja, o quanto as probabilidades previstas se afastam das frequências observadas nos casos aos quais foram atribuídas, e deve ser baixa. A resolução mede o quanto as previsões distinguem casos com resultados diferentes e deve ser alta. A incerteza corresponde ao termo da taxa de base p(1 − p) e depende apenas dos dados. Um modelo que sempre prevê a taxa de base tem calibração perfeita e resolução zero, portanto sua pontuação é igual ao termo de incerteza.

Brier Score e métricas relacionadas#

• Perda logarítmica: Também é uma regra de pontuação estritamente própria, calculada a partir do logaritmo da probabilidade atribuída ao resultado verdadeiro. Ela penaliza erros confiantes com muito mais rigor: uma previsão de 0,99 para um evento que não ocorre custa 0,98 na pontuação de Brier e 4,6 na perda logarítmica; uma previsão exatamente igual a 0 para um evento que ocorre gera uma perda logarítmica infinita.
• Erro de calibração esperado (ECE): Mede apenas a calibração, agrupando as previsões por nível de confiança e calculando a diferença média entre confiança e precisão. Ignora a resolução, portanto um modelo que sempre prevê a taxa de base pode obter um ECE perfeito.
• Área sob a curva (AUC): Mede o quanto as pontuações classificam os positivos acima dos negativos e não muda com nenhuma calibração que preserve essa ordem, como o ajuste de temperatura de um classificador binário.
• Confiança: A pontuação que um modelo atribui a uma previsão. A pontuação de Brier testa se essas pontuações se comportam como probabilidades; pontuações excessivamente confiantes a aumentam por meio do termo de confiabilidade.

Pontuação de Brier em visão computacional#

Os classificadores de imagens que produzem probabilidades são avaliados com a pontuação de Brier em imagens reservadas para teste rotuladas, e recalculá-la em imagens de produção recém-rotuladas mostra se a calibração se mantém à medida que as entradas mudam com a deriva de dados. Os modelos de classificação YOLO26 retornam uma distribuição softmax completa entre suas classes em result.probs.data. Assim, a pontuação de Brier multiclasse de um classificador YOLO26 ajustado com fine-tuning é a média, nas imagens reservadas para teste, da soma das diferenças quadráticas entre esse vetor e o rótulo verdadeiro one-hot.