Confidence

Trong lĩnh vực trí tuệ nhân tạo và học máy, điểm số độ tin cậy (confidence score) là một chỉ số định lượng mức độ chắc chắn của một model đối với một dự đoán cụ thể. Giá trị này thường dao động từ 0 đến 1 (hoặc 0% đến 100%) và thể hiện xác suất ước tính rằng kết quả đầuออก của thuật toán khớp với ground truth. Ví dụ, trong một tác vụ object detection, nếu hệ thống xác định một vùng của hình ảnh là "bicycle" với độ tin cậy là 0.92, điều này cho thấy khả năng ước tính là 92% rằng việc phân loại là chính xác. Các điểm số này được lấy từ lớp cuối cùng của một neural network, thường được xử lý thông qua một activation function như Softmax cho phân loại đa lớp hoặc hàm Sigmoid function cho các quyết định nhị phân.

Vai trò của độ tin cậy trong suy luận (Inference)#

Điểm số độ tin cậy là một thành phần cơ bản của luồng công việc inference engine, đóng vai trò như một bộ lọc để phân biệt các dự đoán chất lượng cao với nhiễu nền. Quá trình lọc này, được gọi là thresholding, cho phép các lập trình viên điều chỉnh độ nhạy của ứng dụng. Bằng cách thiết lập ngưỡng độ tin cậy tối thiểu, bạn có thể quản lý precision-recall trade-off quan trọng. Ngưỡng thấp hơn có thể phát hiện nhiều đối tượng hơn nhưng làm tăng rủi ro về false positives, trong khi ngưỡng cao hơn cải thiện độ chính xác nhưng có thể dẫn đến việc bỏ sót các trường hợp tinh tế.

Trong các kiến trúc tiên tiến như Ultralytics YOLO26, điểm số độ tin cậy là rất cần thiết cho các kỹ thuật hậu xử lý như Non-Maximum Suppression (NMS). NMS sử dụng các điểm số này để loại bỏ các bounding box dư thừa chồng chéo đáng kể, chỉ giữ lại phát hiện có xác suất cao nhất. Bước này đảm bảo rằng kết quả đầu ra cuối cùng sạch sẽ và sẵn sàng cho các tác vụ tiếp theo như object counting hoặc tracking.

Ví dụ về Python sau đây minh họa cách lọc các dự đoán theo độ tin cậy bằng cách sử dụng gói ultralytics:

from ultralytics import YOLO

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference with a confidence threshold of 0.5 (50%)
# Only detections with a score above this value are returned
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.5)

# Inspect the confidence scores of the detected objects
for box in results[0].boxes:
    print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Các ứng dụng trong thực tế#

Điểm số độ tin cậy cung cấp một lớp khả năng diễn giải không thể thiếu trong các ngành công nghiệp nơi computer vision (CV) được ứng dụng. Chúng giúp các hệ thống tự động xác định thời điểm nào nên tiến hành tự động và thời điểm nào nên kích hoạt cảnh báo để con người xem xét.

• Autonomous Driving: Trong lĩnh vực AI in automotive, các phương tiện tự lái dựa vào các chỉ số độ tin cậy để đảm bảo an toàn cho hành khách. Nếu một hệ thống nhận thức phát hiện một vật cản với độ tin cậy thấp, nó có thể đối chiếu dữ liệu này với LiDAR sensors hoặc radar để xác minh sự hiện diện của đối tượng trước khi thực hiện một thao tác khẩn cấp. Sự dự phòng này giúp ngăn chặn tình trạng phanh ma "phantom braking" do bóng tối hoặc ánh sáng chói gây ra.
• Medical Diagnostics: Khi tận dụng AI in healthcare, các model hỗ trợ các chuyên gia y tế bằng cách gắn cờ các bất thường tiềm ẩn trong dữ liệu hình ảnh. Một hệ thống được xây dựng để tumor detection có thể làm nổi bật các vùng có độ tin cậy cao để chẩn đoán ngay lập tức, trong khi các dự đoán có độ tin cậy thấp hơn được ghi lại để phân tích thứ cấp. Luồng công việc human-in-the-loop này đảm bảo AI bổ sung cho việc ra quyết định lâm sàng mà không thay thế phán đoán của chuyên gia.
• Industrial Automation: Trong smart manufacturing, các cánh tay robot sử dụng điểm số độ tin cậy để tương tác với các đối tượng trên dây chuyền lắp ráp. Một robot được trang bị vision AI có thể chỉ cố gắng nắm lấy một linh kiện nếu độ tin cậy phát hiện vượt quá 90%, từ đó làm giảm nguy cơ làm hỏng các bộ phận mỏng manh do lệch trục.

Phân biệt độ tin cậy với các thuật ngữ liên quan#

Điều quan trọng là phải phân biệt độ tin cậy với các chỉ số thống kê khác được sử dụng trong model evaluation.

• Confidence vs. Accuracy: Accuracy là một chỉ số toàn cục mô tả mức độ chính xác của một model trên toàn bộ tập dữ liệu (ví dụ: "Model chính xác 92%"). Ngược lại, độ tin cậy là một giá trị cục bộ, dành riêng cho dự đoán (ví dụ: "Model chắc chắn 92% rằng hình ảnh cụ thể này chứa một con mèo"). Một model có thể có độ chính xác tổng thể cao nhưng vẫn mang lại độ tin cậy thấp trên các edge cases.
• Confidence vs. Probability Calibration: Điểm số độ tin cậy thô không phải lúc nào cũng khớp với probability of correctness thực tế. Một model được coi là "được hiệu chuẩn tốt" nếu các dự đoán được thực hiện với độ tin cậy 0.8 chính xác khoảng 80% thời gian. Các kỹ thuật như Platt scaling hoặc Isotonic Regression thường được sử dụng để căn chỉnh điểm số với xác suất thực nghiệm.
• Confidence vs. Precision: Precision đo lường tỷ lệ các nhận dạng dương tính thực sự chính xác. Mặc dù việc tăng ngưỡng độ tin cậy thường thúc đẩy độ chính xác, nhưng nó thường làm như vậy phải đánh đổi bằng recall. Các lập trình viên phải điều chỉnh ngưỡng này dựa trên việc ứng dụng của họ ưu tiên bỏ sót ít đối tượng hơn hay giảm thiểu các cảnh báo giả.

Cải thiện độ tin cậy của model#

Nếu một model liên tục đưa ra độ tin cậy thấp cho các đối tượng hợp lệ, điều đó thường báo hiệu sự khác biệt giữa training data và môi trường triển khai. Các chiến lược để giảm thiểu điều này bao gồm data augmentation, giúp mở rộng tập dữ liệu một cách nhân tạo bằng cách thay đổi ánh sáng, độ xoay và nhiễu. Hơn nữa, việc sử dụng Ultralytics Platform để triển khai các đường ống active learning cho phép các lập trình viên dễ dàng xác định các mẫu có độ tin cậy thấp, chú thích chúng và huấn luyện lại model. Vòng lặp lặp đi lặp lại này rất quan trọng để tạo ra các AI agents mạnh mẽ có khả năng hoạt động đáng tin cậy trong các cài đặt động, thực tế.