Độ tin cậy

Trong học máy, điểm tin cậy (confidence score) là một giá trị số được gán cho một dự đoán riêng lẻ, cho biết mức độ chắc chắn của mô hình rằng dự đoán đó là chính xác. Được biểu thị dưới dạng phần trăm hoặc giá trị xác suất từ 0 đến 1, nó định lượng "niềm tin" của mô hình vào đầu ra của chính nó cho một trường hợp duy nhất. Ví dụ: trong một tác vụ phát hiện đối tượng, một mô hình như Ultralytics YOLO11 có thể xác định một chiếc xe hơi trong một hình ảnh và gán một điểm tin cậy là 0,95 (hoặc 95%), cho thấy nó rất chắc chắn về phát hiện của mình. Điểm số này là một đầu ra quan trọng giúp người dùng lọc, ưu tiên và diễn giải kết quả của mô hình trong các tình huống thực tế.

Điểm tin cậy (confidence score) thường được lấy từ đầu ra của lớp cuối cùng của một mạng nơ-ron (neural network - NN), thường là hàm softmax hoặc sigmoid. Giá trị này rất quan trọng trong các ứng dụng thực tế, nơi ngưỡng tin cậy được đặt để loại bỏ các dự đoán có độ chắc chắn dưới một mức nhất định. Bằng cách điều chỉnh ngưỡng này, các nhà phát triển có thể cân bằng giữa việc nắm bắt tất cả các phát hiện liên quan và giảm thiểu các kết quả dương tính giả (false positives), một yếu tố quan trọng trong triển khai mô hình.

Các Ứng dụng Thực tế

Điểm tin cậy (Confidence scores) là điều cần thiết để làm cho các hệ thống AI trở nên đáng tin cậy và hữu ích hơn. Chúng cho phép các hệ thống đánh giá sự không chắc chắn và kích hoạt các phản hồi khác nhau cho phù hợp.

• Xe tự hành: Trong xe tự lái, điểm tin cậy (confidence scores) rất quan trọng đối với sự an toàn. Một bộ phát hiện đối tượng (object detector) có thể xác định một người đi bộ với độ tin cậy 98%, một tín hiệu rõ ràng để xe giảm tốc độ hoặc dừng lại. Ngược lại, nếu nó phát hiện một vật thể chỉ với độ tin cậy 30%, hệ thống có thể gắn cờ nó là không chắc chắn và sử dụng các cảm biến khác để xác minh bản chất của nó trước khi hành động. Điều này giúp ngăn ngừa tai nạn bằng cách tập trung vào các mối đe dọa có độ chắc chắn cao. Để biết thêm chi tiết về chủ đề này, bạn có thể đọc về vai trò của AI trong xe tự lái.
• Phân tích ảnh y tế: Khi một mô hình AI phân tích ảnh chụp y tế để tìm dấu hiệu bệnh, chẳng hạn như phát hiện khối u trong chẩn đoán hình ảnh y tế, thì điểm tin cậy là vô giá. Một phát hiện với độ tin cậy 99% có thể được gắn cờ ngay lập tức để bác sĩ радиолог xem xét. Một phát hiện với độ tin cậy 60% có thể được đánh dấu là "không rõ ràng" hoặc "cần xem xét thêm", đảm bảo rằng các trường hợp không chắc chắn nhận được sự xem xét kỹ lưỡng của con người mà không làm các chuyên gia quá tải với các báo động sai. FDA cung cấp hướng dẫn về AI/ML trong các thiết bị y tế.

Độ tin cậy so với các chỉ số khác

Điều quan trọng là không nhầm lẫn điểm tin cậy (confidence score) của một dự đoán riêng lẻ với các chỉ số đánh giá mô hình tổng thể. Mặc dù có liên quan, nhưng chúng đo lường các khía cạnh hiệu suất khác nhau:

• Độ chính xác (Accuracy): Đo lường tỷ lệ phần trăm tổng thể của các dự đoán chính xác trên toàn bộ tập dữ liệu. Nó cung cấp một cảm nhận chung về hiệu suất của mô hình nhưng không phản ánh độ chắc chắn của các dự đoán riêng lẻ. Một mô hình có thể có độ chính xác cao nhưng vẫn đưa ra một số dự đoán với độ tin cậy thấp.
• Độ Chính Xác (Precision): Cho biết tỷ lệ các dự đoán dương tính thực sự chính xác. Độ chính xác cao có nghĩa là ít báo động sai hơn. Độ tin cậy (confidence) phản ánh niềm tin của mô hình vào dự đoán của nó, điều này có thể hoặc không thể phù hợp với tính chính xác.
• Recall (Độ nhạy): Đo lường tỷ lệ các trường hợp dương tính thực tế mà mô hình đã xác định chính xác. Độ recall cao có nghĩa là ít bỏ sót các phát hiện hơn. Độ tin cậy không liên quan trực tiếp đến số lượng kết quả dương tính thực tế được tìm thấy.
• F1-Score: Trung bình điều hòa của Precision (Độ chính xác) và Recall (Độ phủ), cung cấp một số liệu duy nhất cân bằng cả hai. Độ tin cậy vẫn là một điểm số ở cấp độ dự đoán, không phải là thước đo tổng hợp về hiệu suất của mô hình.
• Độ chính xác trung bình (mAP): Một chỉ số phổ biến trong object detection, tóm tắt đường cong precision-recall trên các ngưỡng tin cậy và các lớp khác nhau. Mặc dù tính toán mAP liên quan đến các ngưỡng tin cậy, bản thân điểm tin cậy áp dụng cho mỗi lần phát hiện riêng lẻ.
• Hiệu chỉnh (Calibration): Đề cập đến mức độ phù hợp của các điểm số tin cậy (confidence scores) với xác suất chính xác thực tế. Các dự đoán của một mô hình được hiệu chỉnh tốt với độ tin cậy 80% sẽ chính xác khoảng 80% thời gian. Điểm tin cậy từ các mạng nơ-ron hiện đại không phải lúc nào cũng được hiệu chỉnh tốt một cách vốn có, như đã thảo luận trong nghiên cứu về hiệu chỉnh mô hình.

Tóm lại, độ tin cậy là một đầu ra có giá trị để đánh giá mức độ chắc chắn của các dự đoán AI riêng lẻ, cho phép lọc, ưu tiên và ra quyết định tốt hơn trong các ứng dụng thực tế. Nó bổ sung, nhưng khác biệt với, các số liệu đánh giá hiệu suất tổng thể của một mô hình, chẳng hạn như những số liệu bạn có thể theo dõi và phân tích bằng các công cụ như Ultralytics HUB.