Brier Score

Оценка Брайера измеряет точность вероятностных предсказаний как среднеквадратичную разницу между каждой предсказанной вероятностью и фактическим результатом, которому присваивается 1, если событие произошло, и 0, если нет. Для бинарных событий она находится в диапазоне от 0 — идеальной оценки — до 1; модель, всегда предсказывающая 0,5, получает ровно 0,25. Метеоролог Гленн У. Брайер ввёл её в 1950 году для проверки вероятностных прогнозов погоды. Сейчас её используют для оценки моделей клинического риска, соревнований по прогнозированию и классификаторов машинного обучения (ML). Оценка применяется к самим вероятностям, до того как порог преобразует их в решения. Поэтому она отличает неуверенное правильное предсказание 0,51 от уверенного предсказания 0,99, которые точность, прецизионность и полнота оценивают одинаково.

Как рассчитывается оценка Брайера#

Для N предсказаний с вероятностью p и результатом o оценка Брайера равна среднему значению (p − o)². Если модель предсказывает вероятность дефекта 80%, то при наличии дефекта штраф составляет 0,04, то есть (0,8 − 1)², а при его отсутствии — 0,64, то есть (0,8 − 0)². Поэтому уверенные ошибки обходятся гораздо дороже неуверенных. Оценка Брайера — строго правильная метрика: модель получает наилучшую ожидаемую оценку, только если указывает вероятности, в которые действительно верит, и не может улучшить результат, сдвигая предсказания к 0 или 1.

Если классов больше двух, квадраты разностей между вектором предсказанных вероятностей и унитарным вектором истинного класса суммируются по классам, а затем усредняются по примерам. Эта многоклассовая форма, исходное определение Брайера, принимает значения от 0 до 2. Функция scikit-learn brier_score_loss принимает оба варианта и по умолчанию делит бинарную оценку пополам, приводя её к обычному диапазону от 0 до 1, а для многоклассовых данных сохраняет диапазон от 0 до 2. Поэтому сопоставлять оценки из разных инструментов можно только при одинаковом соглашении.

Интерпретация оценки Брайера#

У оценки Брайера нет универсального значения «хорошо», поскольку она зависит от частоты события. Модель, всегда предсказывающая базовую частоту p, получает p(1 − p): 0,09 для события, происходящего в 10% случаев, и 0,25 для события, происходящего в половине случаев. Коэффициент мастерства Брайера, BSS = 1 − BS / BS_ref, сравнивает модель с таким эталонным прогнозом: 0 означает результат не лучше эталона, 1 — идеальный результат, а отрицательные значения — результат хуже эталона.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

Скрипт выводит оценку модели 0,098 против 0,240 для модели, которая всегда предсказывает частоту дефектов 40%; коэффициент мастерства равен 0,59. Это означает, что модель устраняет 59% квадратичной ошибки эталонного прогноза. Самый большой отдельный штраф — 0,42 — приходится на дефектную деталь, вероятность дефекта которой модель оценила всего в 0,35.

Разложение Мёрфи 1973 года делит оценку на три составляющие: BS = надёжность − разрешающая способность + неопределённость. Надёжность измеряет калибровку — насколько предсказанные вероятности отличаются от наблюдаемых частот соответствующих случаев — и должна быть низкой. Разрешающая способность показывает, насколько предсказания разделяют случаи с разными результатами, и должна быть высокой. Неопределённость равна слагаемому базовой частоты p(1 − p) и зависит только от данных. Модель, всегда предсказывающая базовую частоту, идеально откалибрована и имеет нулевую разрешающую способность, поэтому её оценка равна слагаемому неопределённости.

Оценка Брайера и связанные метрики#

• Логарифмическая функция потерь: также является строго правильной метрикой и рассчитывается по логарифму вероятности, присвоенной истинному результату. Она гораздо сильнее штрафует за уверенные ошибки: предсказание 0,99 для события, которое не происходит, даёт 0,98 по оценке Брайера и 4,6 по логарифмической функции потерь, а предсказание ровно 0 для произошедшего события приводит к бесконечной потере.
• Ожидаемая ошибка калибровки (ECE): измеряет только калибровку, группируя предсказания по уверенности и усредняя разницу между уверенностью и точностью. Она не учитывает разрешающую способность, поэтому модель, всегда предсказывающая базовую частоту, может получить идеальную ECE.
• Площадь под кривой (AUC): показывает, насколько хорошо оценки ранжируют положительные примеры выше отрицательных; она не меняется при калибровке, сохраняющей порядок, например при масштабировании температуры бинарного классификатора.
• Уверенность: оценка, которую модель присваивает предсказанию. Оценка Брайера проверяет, насколько эти оценки соответствуют вероятностям, а завышенная уверенность увеличивает её значение через слагаемое надёжности.

Оценка Брайера в компьютерном зрении#

Классификаторы изображений, выдающие вероятности, оценивают по метрике Брайера на размеченных отложенных изображениях. Повторный расчёт на недавно размеченных изображениях из рабочей среды показывает, сохраняется ли калибровка при изменении входных данных из-за дрейфа данных. Модели классификации YOLO26 возвращают полное распределение softmax по классам в result.probs.data. Поэтому многоклассовая оценка Брайера дообученного классификатора YOLO26 — это среднее по отложенным изображениям значение суммы квадратов разностей между этим вектором и унитарной меткой истинного класса.