Sự tự tin

Trong học máy, điểm tin cậy là một giá trị số được gán cho một dự đoán riêng lẻ, biểu thị mức độ chắc chắn của mô hình về tính chính xác của dự đoán. Được biểu thị dưới dạng phần trăm hoặc giá trị xác suất từ 0 đến 1, điểm tin cậy định lượng "niềm tin" của mô hình vào kết quả đầu ra của chính nó cho một trường hợp duy nhất. Ví dụ: trong một tác vụ phát hiện vật thể , một mô hình như Ultralytics YOLO11 có thể xác định một chiếc xe trong ảnh và gán điểm tin cậy là 0,95 (hoặc 95%), cho thấy nó rất chắc chắn về kết quả của mình. Điểm tin cậy này là một đầu ra quan trọng giúp người dùng lọc, ưu tiên và diễn giải kết quả của mô hình trong các tình huống thực tế.

Điểm tin cậy thường được lấy từ đầu ra của lớp cuối cùng của mạng nơ-ron (NN) , thường là hàm softmax hoặc hàm sigmoid. Giá trị này rất hữu ích trong các ứng dụng thực tế, nơi ngưỡng tin cậy được thiết lập để loại bỏ các dự đoán nằm dưới một mức độ chắc chắn nhất định. Bằng cách điều chỉnh ngưỡng này, các nhà phát triển có thể cân bằng giữa việc nắm bắt tất cả các phát hiện có liên quan và giảm thiểu các kết quả dương tính giả, một yếu tố quan trọng cần cân nhắc khi triển khai mô hình .

Ứng dụng trong thế giới thực

Điểm tin cậy rất quan trọng để giúp hệ thống AI trở nên đáng tin cậy và khả thi hơn. Chúng cho phép hệ thống đánh giá mức độ không chắc chắn và kích hoạt các phản ứng khác nhau cho phù hợp.

• Xe tự hành: Trong xe tự lái , điểm số tin cậy rất quan trọng đối với an toàn. Một máy phát hiện vật thể có thể xác định người đi bộ với độ tin cậy 98%, một tín hiệu rõ ràng để xe giảm tốc độ hoặc dừng lại. Ngược lại, nếu phát hiện vật thể với độ tin cậy chỉ 30%, hệ thống có thể đánh dấu vật thể đó là không chắc chắn và sử dụng các cảm biến khác để xác minh bản chất của vật thể trước khi hành động. Điều này giúp ngăn ngừa tai nạn bằng cách tập trung vào các mối đe dọa có độ tin cậy cao. Để biết thêm chi tiết về chủ đề này, bạn có thể đọc về vai trò của AI trong xe tự lái .
• Phân tích Hình ảnh Y tế: Khi một mô hình AI phân tích các hình ảnh chụp y tế để tìm dấu hiệu bệnh, chẳng hạn như phát hiện khối u trong hình ảnh y tế , điểm số tin cậy là vô giá. Một phát hiện với độ tin cậy 99% có thể được đánh dấu ngay lập tức để bác sĩ X quang xem xét. Một phát hiện với độ tin cậy 60% có thể được đánh dấu là "mơ hồ" hoặc "cần xem xét thêm", đảm bảo rằng các trường hợp không chắc chắn sẽ được kiểm tra kỹ lưỡng mà không gây áp lực cho các chuyên gia bằng báo động giả. FDA cung cấp hướng dẫn về AI/ML trong các thiết bị y tế.

Sự tự tin so với các số liệu khác

Điều quan trọng là không nhầm lẫn điểm tin cậy của một dự đoán riêng lẻ với các số liệu đánh giá mô hình tổng thể. Mặc dù có liên quan, chúng đo lường các khía cạnh khác nhau của hiệu suất:

• Độ chính xác : Đo lường tỷ lệ phần trăm tổng thể các dự đoán chính xác trên toàn bộ tập dữ liệu. Nó cung cấp một cái nhìn tổng quan về hiệu suất của mô hình nhưng không phản ánh mức độ chắc chắn của từng dự đoán. Một mô hình có thể có độ chính xác cao nhưng vẫn đưa ra một số dự đoán với độ tin cậy thấp.
• Độ chính xác : Biểu thị tỷ lệ dự đoán tích cực thực sự chính xác. Độ chính xác cao đồng nghĩa với ít cảnh báo sai hơn. Độ tin cậy phản ánh niềm tin của mô hình vào dự đoán của nó, có thể đúng hoặc không đúng.
• Độ thu hồi (Độ nhạy) : Đo lường tỷ lệ các trường hợp dương tính thực tế mà mô hình đã xác định chính xác. Độ thu hồi cao đồng nghĩa với việc ít phát hiện bị bỏ sót hơn. Độ tin cậy không liên quan trực tiếp đến số lượng kết quả dương tính thực tế được tìm thấy.
• Điểm F1 : Giá trị trung bình hài hòa của Độ chính xác và Độ thu hồi, cung cấp một thước đo duy nhất cân bằng cả hai. Độ tin cậy vẫn là điểm số ở cấp độ dự đoán, không phải là thước đo tổng hợp về hiệu suất của mô hình.
• Độ chính xác trung bình (mAP) : Một chỉ số phổ biến trong phát hiện đối tượng, tóm tắt đường cong độ chính xác-thu hồi trên các ngưỡng tin cậy và lớp khác nhau. Mặc dù tính toán mAP liên quan đến ngưỡng tin cậy, nhưng điểm tin cậy tự nó áp dụng cho từng phát hiện riêng lẻ.
• Hiệu chuẩn: Đề cập đến mức độ phù hợp của điểm tin cậy với xác suất chính xác thực tế. Dự đoán của một mô hình được hiệu chuẩn tốt với độ tin cậy 80% sẽ chính xác khoảng 80% thời gian. Điểm tin cậy từ các mạng nơ-ron hiện đại không phải lúc nào cũng được hiệu chuẩn tốt, như đã thảo luận trong nghiên cứu về hiệu chuẩn mô hình .

Tóm lại, độ tin cậy là một đầu ra có giá trị để đánh giá độ chắc chắn của từng dự đoán AI, cho phép lọc, ưu tiên và ra quyết định tốt hơn trong các ứng dụng thực tế. Nó bổ sung, nhưng khác biệt với, các số liệu đánh giá hiệu suất tổng thể của một mô hình, chẳng hạn như những số liệu bạn có thể theo dõi và phân tích bằng các công cụ như Ultralytics HUB .