Brier Score

Brier puanı, tahmin edilen her olasılıkla gerçek sonuç arasındaki kare farkın ortalaması olarak olasılıksal tahminlerin doğruluğunu ölçer. Gerçekleşen olay 1, gerçekleşmeyen olay 0 olarak kodlanır. İkili olaylarda puan, kusursuz sonuç olan 0 ile 1 arasında değişir ve her zaman 0,5 tahmininde bulunan bir model tam olarak 0,25 puan alır. Meteorolog Glenn W. Brier bu puanı 1950'de olasılıksal hava durumu tahminlerini doğrulamak için tanıttı. Puan günümüzde klinik risk modellerini, tahmin yarışmalarını ve makine öğrenmesi (ML) sınıflandırıcılarını değerlendirmekte kullanılıyor. Puan, herhangi bir eşik olasılıkları kararlara dönüştürmeden önce olasılıkların kendisini değerlendirir; bu sayede 0,51 olasılıkla doğru tahmin edilen tereddütlü bir sonuçla, doğruluğun, kesinliğin ve duyarlılığın aynı saydığı 0,99 olasılıkla yapılan kendinden emin tahmini birbirinden ayırır.

Brier Puanı Nasıl Hesaplanır?#

Olasılığı p, sonucu o olan N tahmin için Brier puanı, (p − o)² değerlerinin ortalamasıdır. Bir kusur olasılığını yüzde 80 olarak tahmin eden model, kusur varsa (0,8 − 1)² gereği 0,04; yoksa (0,8 − 0)² gereği 0,64 ceza alır. Böylece kendinden emin yanlış tahminlerin maliyeti, tereddütlü tahminlerden çok daha yüksek olur. Brier puanı kesin olarak doğru bir puanlama kuralıdır: model, en iyi beklenen puanını yalnızca gerçekten inandığı olasılıkları bildirerek alır; bu nedenle tahminlerini 0'a veya 1'e yaklaştırarak kazanç sağlayamaz.

İkiden fazla sınıf için, tahmin edilen olasılık vektörüyle gerçek sınıfın one-hot vektörü arasındaki kare farklar sınıflar üzerinden toplanır ve örnekler üzerinden ortalaması alınır. Brier'in özgün tanımı olan bu çok sınıflı biçim, 0 ile 2 arasında değişir. scikit-learn brier_score_loss işlevi her iki durumu da kabul eder; varsayılan olarak ikili puanı alışılmış 0-1 aralığına yarıya indirirken çok sınıflı girdi için 0-2 aralığını korur. Bu nedenle farklı araçlardan alınan puanlar ancak aynı yöntem kullanıldığında karşılaştırılabilir.

Brier Puanını Yorumlama#

Brier puanının evrensel bir "iyi" değeri yoktur; çünkü olayın ne sıklıkta gerçekleştiğine bağlıdır. Her zaman temel oran p tahmininde bulunan bir model p(1 − p) puanı alır: zamanın yüzde 10'unda gerçekleşen bir olay için 0,09, zamanın yarısında gerçekleşen bir olay içinse 0,25. Brier beceri puanı (BSS = 1 − BS / BS_ref), modeli böyle bir referans tahminiyle karşılaştırır: 0 referanstan daha iyi olmadığını, 1 kusursuz olduğunu gösterir; negatif değerlerse referanstan kötüdür.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

Betik, model için 0,098 puan yazdırırken kusur oranını yüzde 40 olarak her zaman tahmin etme yöntemi 0,240 puan alır; beceri puanı 0,59'dur. Bu, modelin referans tahmininin kare hatasını yüzde 59 azalttığı anlamına gelir. En yüksek tekil cezası olan 0,42, kusurlu parçaya yalnızca 0,35 olasılık verdiği tahminden kaynaklanır.

Murphy'nin 1973 ayrıştırması, puanı üç bölüme ayırır: BS = güvenilirlik − ayırt etme gücü + belirsizlik. Güvenilirlik, kalibrasyonu, yani tahmin edilen olasılıkların kendilerine atanan durumların gözlemlenen sıklıklarından ne kadar uzak olduğunu ölçer; bu değer düşük olmalıdır. Ayırt etme gücü, tahminlerin farklı sonuçlara sahip durumları ne ölçüde ayırdığını ölçer ve yüksek olmalıdır. Belirsizlik, p(1 − p) temel oran terimidir ve yalnızca verilere bağlıdır. Her zaman temel oranı tahmin eden model kusursuz kalibrasyona ve sıfır ayırt etme gücüne sahip olduğundan puanı belirsizlik terimine eşittir.

Brier Skoru ve İlgili Metrikler#

• Logaritmik kayıp: Gerçek sonuca atanan olasılığın logaritmasıyla hesaplanan, kesin olarak doğru bir puanlama kuralıdır. Kendinden emin hataları çok daha ağır cezalandırır: Gerçekleşmeyen bir olay için verilen 0,99 tahmini Brier puanında 0,98, logaritmik kayıpta 4,6 maliyet getirir; gerçekleşen bir olay için verilen tam 0 olasılığıysa logaritmik kaybı sonsuz yapar.
• Beklenen kalibrasyon hatası (ECE): Tahminleri güven düzeylerine göre gruplara ayırıp güven düzeyi ile doğruluk arasındaki farkın ortalamasını alarak yalnızca kalibrasyonu ölçer. Ayırt etme gücünü dikkate almaz; bu nedenle her zaman temel oranı tahmin eden bir model kusursuz ECE alabilir.
• Eğri altındaki alan (AUC): Puanların pozitif örnekleri negatif örneklerden ne kadar iyi sıraladığını ölçer. İkili bir sınıflandırıcıda sıcaklık ölçekleme gibi sıralamayı koruyan kalibrasyon işlemlerinden etkilenmez.
• Güven: Modelin bir tahmine atadığı puandır. Brier puanı, bu puanların olasılıklar gibi davranıp davranmadığını sınar; aşırı güvenli puanlar güvenilirlik terimi üzerinden puanı yükseltir.

Bilgisayarlı Görüde Brier Puanı#

Olasılık çıktısı veren görüntü sınıflandırıcıları, etiketlenmiş ve eğitimde kullanılmayan görüntüler üzerinde Brier puanıyla değerlendirilir. Yeni etiketlenmiş üretim görüntülerinde puanın yeniden hesaplanması, girdiler veri kayması nedeniyle değiştikçe kalibrasyonun korunup korunmadığını gösterir. YOLO26 sınıflandırma modelleri, sınıflarının tümüne ilişkin eksiksiz bir softmax dağılımını result.probs.data içinde döndürür. Dolayısıyla ince ayar yapılmış bir YOLO26 sınıflandırıcısının çok sınıflı Brier puanı, eğitimde kullanılmayan görüntüler üzerinden, bu vektör ile one-hot gerçek etiket arasındaki kare farkların toplamının ortalamasıdır.