Confidence Interval
Khoảng tin cậy định lượng độ bất định do lấy mẫu trong các chỉ số của model như độ chính xác và mAP. Khoảng 95% mô tả độ bao phủ dài hạn.
Khoảng tin cậy (CI) là một khoảng được tính từ mẫu bằng phương pháp được thiết kế để bao phủ một đại lượng tổng thể chưa biết với tỷ lệ xác định. Trong học máy, điểm số kiểm thử ước tính hiệu năng của một model cố định trên các loại dữ liệu đầu vào mà tập kiểm thử đại diện. Khoảng này cho biết mức độ chính xác của ước tính hiệu năng đó dựa trên một mẫu hữu hạn.
Ý nghĩa của khoảng tin cậy 95%#
Nếu bạn liên tục lấy các mẫu dữ liệu kiểm thử tương đương và mỗi lần đều tính khoảng theo cùng một cách, thì quy trình có độ bao phủ 95% sẽ chứa giá trị thực của metric trong khoảng 95 trên 100 khoảng về lâu dài. Metric là cố định; các cận của khoảng thay đổi từ mẫu này sang mẫu khác. Jerzy Neyman giới thiệu khuôn khổ tần suất luận này trong bài báo năm 1934 về lấy mẫu.
Mức độ tin cậy cao hơn thường tạo ra khoảng rộng hơn khi dùng cùng một dữ liệu. Nhiều quan sát độc lập hơn thường làm khoảng hẹp hơn ở cùng một mức độ tin cậy. Độ rộng đo lường độ chính xác do lấy mẫu: khoảng có thể hẹp ngay cả khi độ chệch của dataset khiến mẫu kiểm thử không đại diện cho điều kiện triển khai.
Cách tính khoảng tin cậy#
Với trung bình mẫu, công thức phổ biến là ước lượng ± biên sai số, trong đó biên sai số bằng giá trị tới hạn nhân với sai số chuẩn. Sai số chuẩn đo mức độ biến thiên của ước lượng qua các mẫu lặp lại. Với các quan sát độc lập lấy từ cùng một tổng thể, sai số chuẩn ước tính của trung bình bằng độ lệch chuẩn mẫu chia cho căn bậc hai của kích thước mẫu. Khoảng chuẩn hai phía 95% sử dụng giá trị tới hạn 1.96, với 2.5% ở mỗi đuôi. Khoảng t một mẫu sử dụng giá trị tới hạn của phân phối t Student với số bậc tự do bằng kích thước mẫu trừ một. Khoảng này có độ bao phủ chính xác đối với các quan sát độc lập lấy từ cùng một tổng thể phân phối chuẩn.
Phương pháp phụ thuộc vào metric và cách lấy mẫu dữ liệu kiểm thử:
- Độ chính xác phân loại: Với các ảnh độc lập và xác suất phân loại đúng chung, khoảng điểm Wilson sử dụng số dự đoán đúng và kích thước tập kiểm thử để ước tính xác suất đó. Cả hai cận đều nằm trong khoảng từ 0% đến 100%.
- Độ chính xác trung bình trung bình (mAP): Dùng bootstrap cho toàn bộ metric bằng cách lấy mẫu lại các đơn vị kiểm thử có hoàn lại và tính lại mAP cho mỗi lần lấy mẫu. Khoảng phân vị 95% sử dụng phân vị thứ 2.5 và thứ 97.5 của các điểm số đó. Trong bootstrap ở cấp ảnh, dự đoán và chú giải của mỗi ảnh được giữ cùng nhau.
Ví dụ minh họa: Độ chính xác nhận dạng chữ số viết tay#
Ví dụ phân loại chữ số của scikit-learn huấn luyện một máy vector hỗ trợ trên nửa đầu của bộ ảnh chữ số đi kèm và đánh giá model trên nửa còn lại. Mã sử dụng cùng cách chia dữ liệu và tính khoảng Wilson bằng API tỷ lệ nhị thức của SciPy.
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")Bộ phân loại dự đoán đúng 871 trong số 899 ảnh: độ chính xác 96.9% với khoảng Wilson 95% từ 95.5%–97.8% theo mô hình các ảnh độc lập. Các ảnh đi kèm được lấy từ tập kiểm thử chữ số viết tay UCI, gồm dữ liệu của 13 người viết. Ảnh của cùng một người viết có thể có chung đặc điểm chữ viết, vì vậy cần tính đến sự phân nhóm đó khi ước tính độ chính xác trên người viết mới.
Khoảng tin cậy, điểm số và dự đoán#
Điểm tin cậy là đầu ra của model cho một dự đoán. Trong chế độ dự đoán Ultralytics YOLO, conf đặt điểm số tối thiểu mà một đối tượng được phát hiện cần đạt để được giữ lại. Khoảng tin cậy của recall tại ngưỡng đó định lượng độ bất định của ước tính recall từ mẫu kiểm thử.
Khoảng dự đoán nhắm đến một quan sát trong tương lai. Ví dụ, dự đoán conformal đã được sử dụng để xây dựng khoảng dự đoán theo từng pixel trên KITTI cho các ước tính độ sâu trong những khung hình mới.
So sánh các model thị giác máy tính#
Khoảng cho một model cố định đo lường độ bất định do lấy mẫu tập kiểm thử. Việc so sánh các pipeline huấn luyện cũng liên quan đến biến thiên do các yếu tố như khởi tạo ngẫu nhiên và tinh chỉnh siêu tham số, có thể được đo lường thông qua nhiều lần chạy huấn luyện lặp lại.
Khi hai model phát hiện đối tượng chạy trên cùng một tập kiểm thử, bootstrap ghép cặp lấy cùng các đơn vị cho cả hai model và tính chênh lệch mAP ở mỗi lần lấy mẫu. Có thể lấy từng ảnh tĩnh được lấy mẫu độc lập lần lượt một ảnh. Khi các video được lấy mẫu độc lập chứa những khung hình có tương quan, lấy mẫu toàn bộ video giúp duy trì sự phụ thuộc giữa các khung hình. Coi các khung hình lân cận là độc lập có thể khiến khoảng quá hẹp. Vì ghép cặp duy trì mối liên hệ giữa kết quả trên cùng đầu vào, khoảng của chênh lệch mAP có thể không chứa số 0 ngay cả khi hai khoảng tin cậy riêng lẻ chồng lấn.










