Confidence

Điểm confidence là giá trị từ 0 đến 1 mà model gắn với một dự đoán để thể hiện khả năng dự đoán đó chính xác. Classifier gắn một điểm confidence với mỗi nhãn class, còn model phát hiện đối tượng gắn một điểm với mỗi bounding box; ở đây điểm confidence trả lời một câu hỏi hẹp hơn: khả năng box này chứa một đối tượng thuộc class này là bao nhiêu? Ứng dụng dùng confidence để quyết định giữ lại dự đoán nào, xếp hạng chúng theo thứ tự nào và dự đoán nào cần chuyển cho người xem xét.

Cách model tạo confidence#

Confidence bắt nguồn từ lớp cuối của network. Classifier đơn nhãn đưa đầu ra thô, gọi là logit, qua softmax, phép biến đổi khiến tổng điểm class bằng 1, rồi báo giá trị cao nhất. Detector thường áp dụng sigmoid riêng cho từng class, vì vậy một box có thể đạt điểm cao ở hai class liên quan và tổng điểm không nhất thiết bằng 1. Các detector có đầu ra objectness riêng, chẳng hạn YOLOv5, đã nhân objectness với xác suất class. Nhiều detector anchor-free, bao gồm các model YOLO gần đây, loại bỏ objectness và dùng điểm class cao nhất làm confidence của box.

Ngưỡng độ tin cậy#

Ngưỡng confidence chuyển điểm số thành quyết định: giữ lại dự đoán vượt ngưỡng và loại bỏ các dự đoán còn lại. Tăng ngưỡng sẽ loại bỏ false positive và tăng precision. Hạ ngưỡng giúp phát hiện các đối tượng mờ, nhỏ hoặc bị che khuất một phần, làm tăng recall nhưng đổi lại có thêm cảnh báo sai. Ngưỡng tại đỉnh của đường cong F1-score cân bằng hai đại lượng này. Theo mặc định, YOLO26 giữ các hộp có điểm trên 0.25 tại thời điểm dự đoán; validation hạ ngưỡng xuống 0.001 để các đường cong precision-recall bao phủ gần như mọi điểm vận hành có thể.

from ultralytics import YOLO

# Load a pretrained YOLO26 nano detector
model = YOLO("yolo26n.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Run the same image at a low and a high confidence threshold
for threshold in (0.1, 0.6):
    results = model(image, conf=threshold)
    scores = results[0].boxes.conf.tolist()
    print(f"conf={threshold}: {len(scores)} boxes, scores {[round(s, 2) for s in scores]}")

Lần chạy với ngưỡng 0.1 trả về tất cả các bounding box từ lần chạy với ngưỡng 0.6 cùng mọi ứng viên có độ tin cậy thấp hơn; do đó, tăng ngưỡng chỉ loại bỏ detection, bắt đầu từ những detection ít chắc chắn nhất.

Sử dụng độ tin cậy trong ứng dụng#

Nhiều hệ thống sử dụng hai ngưỡng. Các dự đoán dưới ngưỡng thấp bị loại bỏ, các dự đoán trên ngưỡng cao kích hoạt hành động tự động, còn những dự đoán nằm giữa hai ngưỡng được chuyển cho người xử lý, model thứ hai hoặc cảm biến khác. Công cụ sàng lọc y tế có thể đánh dấu ngay các phát hiện có độ tin cậy cao và đưa các trường hợp chưa chắc chắn vào hàng đợi để bác sĩ chẩn đoán hình ảnh xem xét; một vòng lặp active learning cũng có thể gửi các trường hợp chưa chắc chắn cho người gán nhãn, một chiến lược gọi là lấy mẫu độ bất định.

Độ tin cậy và hiệu chuẩn#

Điểm số 0.9 chỉ có thể được dùng như một xác suất nếu model đã được hiệu chuẩn, nghĩa là trong tất cả các dự đoán có điểm số 0.9, khoảng 90% là chính xác. Các mạng sâu hiện đại thường quá tự tin, với điểm số cao hơn tỷ lệ dự đoán đúng thực tế. Hiệu chỉnh nhiệt độ khắc phục phần lớn vấn đề này bằng cách chia logits cho một hằng số được khớp trên dữ liệu giữ lại, còn các công cụ hiệu chuẩn của scikit-learn khớp các ánh xạ Platt (sigmoid) hoặc đẳng trương và vẽ đường cong độ tin cậy. Hiệu chuẩn rất quan trọng khi điểm số được hiểu là xác suất, chẳng hạn như khi áp dụng ngưỡng rủi ro. Các metric xếp hạng như độ chính xác trung bình (mAP) chỉ phụ thuộc vào thứ tự của các điểm số.

Độ tin cậy và các thuật ngữ liên quan#

• Accuracy: tỷ lệ dự đoán chính xác trên toàn bộ dataset. Trong model đã hiệu chuẩn, độ tin cậy trung bình bằng accuracy.
• Khoảng tin cậy thống kê: một khái niệm riêng biệt nhưng có tên gọi tương tự. Mức tin cậy 95% mô tả tần suất một quy trình xây dựng khoảng sẽ bao hàm giá trị thực qua nhiều mẫu lặp lại.
• Dự đoán conformal: chuyển điểm số thô thành các tập dự đoán có bảo đảm độ bao phủ, để với mục tiêu 90%, tập chứa nhãn đúng ít nhất 90% số lần trên dữ liệu có thể hoán đổi.