Brier Score

Brier Score đo lường độ chính xác của các dự đoán xác suất bằng cách tính trung bình bình phương hiệu số giữa từng xác suất dự đoán và kết quả thực tế xảy ra. Điểm số bằng 0 thể hiện các dự đoán hoàn hảo; giá trị lớn hơn cho thấy dự đoán kém chính xác hơn, được hiệu chuẩn kém hơn, hoặc cả hai. Khác với các metric chỉ dựa trên nhãn lớp cuối cùng, Brier Score đánh giá liệu một machine learning model có gán các xác suất hợp lý hay không.

Brier Score hoạt động như thế nào#

Đối với bài toán phân loại nhị phân, hãy mã hóa kết quả thành 1 khi một sự kiện xảy ra và 0 khi không xảy ra. Với mỗi mẫu, hãy tính (predicted probability - outcome) squared, sau đó lấy trung bình các giá trị đó.

Giả sử một model dự đoán xác suất 80% rằng một hình ảnh chứa lỗi:

• Nếu lỗi xuất hiện, sai số bình phương là (0.8 - 1) squared, hay 0,04.
• Nếu không có lỗi xuất hiện, sai số là (0.8 - 0) squared, hay 0,64.

Dự đoán thứ hai nhận mức phạt lớn hơn nhiều vì model đã tự tin nhưng dự đoán sai. Điều này biến Brier Score thành một quy tắc chấm điểm thực sự phù hợp (strictly proper scoring rule): về mặt trung bình, một người dự báo sẽ đạt được điểm số tốt nhất bằng cách báo cáo ước tính xác suất trung thực của mình. Tài liệu scikit-learn Brier score loss documentation cung cấp một bản triển khai tiêu chuẩn.

Đối với các bài toán nhị phân, dải giá trị thông thường là từ 0 đến 1. Các phiên bản đa lớp sẽ cộng tổng bình phương sai số trên mọi lớp, do đó dải giá trị của chúng có thể từ 0 đến 2 trừ khi được chia đôi. Do các thư viện sử dụng các quy ước tỷ lệ khác nhau, chẳng hạn như phương pháp được điều chỉnh tỷ lệ trong yardstick’s multiclass Brier Score, việc so sánh nên sử dụng cùng một bản triển khai và cài đặt.

Giải thích một Brier Score tốt#

Giá trị càng thấp càng tốt, nhưng không có ngưỡng phổ quát nào cho một Brier Score “tốt”. Ý nghĩa của nó phụ thuộc vào tỷ lệ sự kiện, độ khó của tập dữ liệu và chất lượng của một đường cơ sở hợp lý.

Ví dụ, nếu một sự kiện xảy ra trong 10% các trường hợp, một model luôn dự đoán 0,10 sẽ nhận được điểm kỳ vọng là 0,09. Một model hữu ích nhìn chung nên cải thiện dựa trên đường cơ sở dựa trên tỷ lệ đó. Quá trình đánh giá nên sử dụng validation data mang tính đại diện, với báo cáo riêng biệt cho các lớp quan trọng, môi trường vận hành hoặc nhóm nhân khẩu học.

Điểm số phản ánh hai thuộc tính có liên quan:

• Hiệu chuẩn (Calibration): Các dự đoán 0,80 nên chính xác khoảng 80% số lần. Các Probability calibration methods và biểu đồ độ tin cậy có thể làm lộ ra tình trạng quá tự tin hoặc thiếu tự tin một cách có hệ thống.
• Độ phân giải (Resolution): Các dự đoán nên tách biệt một cách có ý nghĩa các sự kiện có khả năng xảy ra cao với các sự kiện khó xảy ra. Một model luôn dự đoán tỷ lệ cơ sở có thể được hiệu chuẩn tổng thể nhưng cung cấp rất ít thông tin cụ thể theo trường hợp.

Một điểm số tổng hợp duy nhất có thể che giấu các vấn đề cục bộ. Hãy kết hợp nó với một calibration curve, phân tích phân nhóm và uncertainty quantification rộng hơn.

Brier Score so với các Metric liên quan#

• Accuracy, precision, and recall: Các chỉ số này đánh giá các quyết định rời rạc sau khi áp dụng một ngưỡng. Brier Score đánh giá các xác suất trước khi áp dụng ngưỡng, phân biệt giữa một dự đoán đúng nhưng thận trọng là 0,51 với một dự đoán tự tin là 0,99.

• ROC AUC: AUC đo lường mức độ xếp hạng — liệu các trường hợp dương tính có xu hướng nhận được điểm số cao hơn các trường hợp âm tính hay không. Một model có thể xếp hạng các trường hợp chính xác nhưng lại tạo ra các xác suất được hiệu chuẩn kém.

• Log loss: Cả hai đều là quy tắc chấm điểm thích hợp, nhưng log loss phạt các sai sót quá tự tin một cách gay gắt hơn. Cách diễn giải sai số bình phương của Brier Score thường dễ giải thích hơn.

• Confidence: Đầu ra của model được dán nhãn là “confidence” không tự động là một xác suất sự kiện được hiệu chuẩn. Ý nghĩa của nó phải được xác thực trước khi áp dụng Brier Score.

Các ứng dụng trong thực tế#

Trong lĩnh vực phân loại ảnh y tế (medical image triage), một model image classification có thể ước tính xác suất một bản chụp chứa điểm bất thường. Brier Score có thể đánh giá xem các xác suất đó có khớp với các chẩn đoán quan sát được hay không, điều này rất quan trọng khi các quy tắc chuyển tuyến đối xử với ước tính 90% khác biệt so với ước tính 55%.

Trong kiểm tra trực quan sản xuất (manufacturing visual inspection), một model có thể ước tính xác suất sản phẩm bị lỗi. Các dự đoán được hiệu chuẩn tốt hỗ trợ việc định tuyến dựa trên rủi ro: các trường hợp có xác suất cao có thể bị loại bỏ, các trường hợp không chắc chắn được gửi đi để kiểm tra thủ công, và các trường hợp xác suất thấp được chấp nhận. Hiệu chuẩn kém có thể dẫn đến việc lỗi lọt qua hoặc lãng phí không cần thiết. NIST AI Risk Management Framework Core nhấn mạnh việc đo lường độ bất định và giám sát hiệu suất trong các hệ thống đã được triển khai.

Quy trình Đánh giá Thực tế#

Ví dụ sau đây tính toán điểm số của model và so sánh nó với một đường cơ sở tỷ lệ không đổi:

from sklearn.metrics import brier_score_loss

# Binary outcomes and predicted event probabilities
y_true = [0, 1, 1, 0, 1, 0]
y_probability = [0.10, 0.75, 0.60, 0.30, 0.90, 0.40]

model_score = brier_score_loss(y_true, y_probability)

# Compare against always predicting the observed event rate
event_rate = sum(y_true) / len(y_true)
baseline_probability = [event_rate] * len(y_true)
baseline_score = brier_score_loss(y_true, baseline_probability)

print(f"Model: {model_score:.3f}")
print(f"Baseline: {baseline_score:.3f}")

Đối với thị giác máy tính, các dự đoán phân loại của Ultralytics YOLO26 hiển thị các xác suất lớp thông qua Predict mode. Thu thập các xác suất này trên các hình ảnh được giữ lại có dán nhãn trước khi tính toán điểm số. Kết hợp kết quả với Ultralytics validation mode và YOLO performance metrics guide thay vì coi nó là sự thay thế cho các metric dành riêng cho tác vụ.

Sau khi triển khai, hãy tính toán lại điểm số khi có sẵn các nhãn ground-truth mới. Ultralytics Platform deployment monitoring có thể hỗ trợ quy trình vận hành xung quanh, trong khi việc đánh giá có dán nhãn định kỳ giúp phát hiện những thay đổi về hiệu chuẩn do sự trôi dạt dữ liệu (data drift) gây ra.