Brier Score

Điểm Brier đo độ chính xác của dự đoán xác suất bằng sai khác bình phương trung bình giữa từng xác suất dự đoán và kết quả thực tế, được mã hóa là 1 nếu sự kiện xảy ra và 0 nếu không. Với sự kiện nhị phân, điểm chạy từ 0—điểm hoàn hảo—đến 1; model luôn dự đoán 0.5 đạt chính xác 0.25. Nhà khí tượng học Glenn W. Brier giới thiệu điểm này năm 1950 để xác minh dự báo thời tiết xác suất; hiện nay, điểm Brier được dùng để đánh giá mô hình rủi ro lâm sàng, các cuộc thi dự báo và bộ phân loại học máy (ML). Điểm này đánh giá trực tiếp các xác suất trước khi bất kỳ ngưỡng nào chuyển chúng thành quyết định, nhờ đó phân biệt dự đoán đúng nhưng thiếu chắc chắn ở mức 0.51 với dự đoán tự tin ở mức 0.99—hai trường hợp được độ chính xác, precision và recall tính như nhau.

Cách tính điểm Brier#

Với N dự đoán có xác suất p và kết quả o, điểm Brier là trung bình của (p − o)². Model dự đoán xác suất xảy ra lỗi là 80% sẽ bị phạt 0.04 nếu lỗi xuất hiện, (0.8 − 1)², và 0.64 nếu lỗi không xuất hiện, (0.8 − 0)²; do đó, dự đoán sai nhưng tự tin bị phạt nặng hơn nhiều so với dự đoán thiếu chắc chắn. Điểm Brier là quy tắc chấm điểm đúng nghiêm ngặt: model chỉ đạt điểm kỳ vọng tốt nhất khi báo cáo đúng các xác suất mà model thực sự tin tưởng, nên model không thể cải thiện điểm bằng cách điều chỉnh dự đoán nghiêng về 0 hoặc 1.

Với nhiều hơn hai lớp, bình phương sai khác giữa vector xác suất dự đoán và vector one-hot của lớp thực tế được tính tổng theo các lớp rồi lấy trung bình trên các mẫu. Dạng đa lớp này, theo định nghĩa ban đầu của Brier, có phạm vi từ 0 đến 2. Hàm scikit-learn brier_score_loss chấp nhận cả hai trường hợp; theo mặc định, hàm chia đôi điểm nhị phân để đưa về phạm vi 0 đến 1 thường dùng, đồng thời giữ nguyên phạm vi 0 đến 2 với đầu vào đa lớp. Vì vậy, điểm số từ các công cụ khác nhau chỉ có thể so sánh khi dùng cùng quy ước.

Diễn giải điểm Brier#

Không có giá trị “tốt” chung cho điểm Brier vì điểm này phụ thuộc vào tần suất xảy ra sự kiện. Model luôn dự đoán tỷ lệ cơ sở p đạt điểm p(1 − p): 0.09 với sự kiện xảy ra 10% số lần và 0.25 với sự kiện xảy ra một nửa số lần. Điểm kỹ năng Brier, BSS = 1 − BS / BS_ref, so sánh model với dự báo tham chiếu như vậy: 0 nghĩa là không tốt hơn tham chiếu, 1 là hoàn hảo, còn giá trị âm nghĩa là kém hơn tham chiếu.

from sklearn.metrics import brier_score_loss

# Outcomes (1 = defect) and the model's predicted defect probabilities
y_true = [0, 1, 1, 0, 1, 0, 0, 0, 1, 0]
y_proba = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40, 0.05, 0.20, 0.35, 0.15]
model_score = brier_score_loss(y_true, y_proba)

# Reference forecast: always predict the observed defect rate
event_rate = sum(y_true) / len(y_true)
baseline_score = brier_score_loss(y_true, [event_rate] * len(y_true))

# Brier skill score: the share of the reference error the model removes
skill = 1 - model_score / baseline_score
print(f"Model {model_score:.3f}, baseline {baseline_score:.3f}, skill {skill:.2f}")

Script in ra điểm model là 0.098, so với 0.240 khi luôn dự đoán tỷ lệ lỗi 40%; điểm kỹ năng là 0.59, nghĩa là model loại bỏ được 59% sai số bình phương của dự báo tham chiếu. Mức phạt lớn nhất cho một mẫu, 0.42, đến từ chi tiết bị lỗi mà model chỉ đánh giá xác suất là 0.35.

Phân rã năm 1973 của Murphy chia điểm thành ba phần: BS = độ tin cậy − độ phân giải + độ bất định. Độ tin cậy đo hiệu chuẩn, tức mức chênh lệch giữa xác suất dự đoán và tần suất quan sát được của các trường hợp nhận xác suất đó; giá trị này nên thấp. Độ phân giải đo mức độ dự đoán phân biệt các trường hợp có kết quả khác nhau; giá trị này nên cao. Độ bất định bằng thành phần tỷ lệ cơ sở p(1 − p) và chỉ phụ thuộc vào dữ liệu. Model luôn dự đoán tỷ lệ cơ sở được hiệu chuẩn hoàn hảo nhưng có độ phân giải bằng 0, nên điểm của model bằng thành phần độ bất định.

Brier Score so với các metric liên quan#

• Log loss: Cũng là quy tắc chấm điểm đúng nghiêm ngặt, được tính từ logarit của xác suất gán cho kết quả thực tế. Log loss phạt lỗi tự tin nặng hơn nhiều: dự đoán 0.99 cho một sự kiện không xảy ra gây điểm Brier 0.98 và log loss 4.6; dự đoán chính xác bằng 0 cho một sự kiện có xảy ra khiến log loss vô hạn.
• Sai số hiệu chuẩn kỳ vọng (ECE): Chỉ đo hiệu chuẩn bằng cách chia dự đoán thành các nhóm theo độ tin cậy rồi tính trung bình chênh lệch giữa độ tin cậy và độ chính xác. ECE bỏ qua độ phân giải, nên model luôn dự đoán tỷ lệ cơ sở vẫn có thể đạt ECE hoàn hảo.
• Diện tích dưới đường cong (AUC): Đo khả năng xếp hạng điểm số sao cho mẫu dương tính đứng trên mẫu âm tính và không thay đổi khi áp dụng phép hiệu chuẩn giữ nguyên thứ tự, chẳng hạn hiệu chỉnh nhiệt độ cho bộ phân loại nhị phân.
• Độ tin cậy: Điểm số mà model gán cho một dự đoán. Điểm Brier kiểm tra xem các điểm số đó có hoạt động như xác suất hay không; điểm số quá tự tin làm tăng điểm Brier thông qua thành phần độ tin cậy.

Điểm Brier trong thị giác máy tính#

Bộ phân loại ảnh xuất ra xác suất được chấm bằng điểm Brier trên các ảnh giữ lại đã gán nhãn; tính toán lại điểm trên ảnh production mới được gán nhãn cho biết hiệu chuẩn có được duy trì khi đầu vào thay đổi do trôi dữ liệu hay không. Các model phân loại YOLO26 trả về phân phối softmax đầy đủ trên các lớp trong result.probs.data; do đó, điểm Brier đa lớp của bộ phân loại YOLO26 được fine-tune là trung bình trên các ảnh giữ lại của tổng bình phương sai khác giữa vector đó và nhãn thực tế dạng one-hot.