Sự tự tin

Sự tự tin được xác định như thế nào

Điểm tin cậy thường được lấy từ lớp đầu ra của mạng nơ-ron (NN) . Đối với các tác vụ phân loại, điều này thường liên quan đến việc áp dụng hàm kích hoạt như Softmax hoặc Sigmoid vào các đầu ra thô (logits) để tạo ra các giá trị giống xác suất cho mỗi lớp. Trong các mô hình phát hiện đối tượng như YOLO , điểm tin cậy có thể kết hợp xác suất một đối tượng có mặt trong hộp giới hạn được đề xuất (thường được gọi là "điểm đối tượng") và xác suất đối tượng đó thuộc về một lớp cụ thể, tùy thuộc vào việc đối tượng đó có mặt hay không. Đây là đầu ra chính được sử dụng trong quá trình suy luận để đánh giá tính hợp lệ của các phát hiện. Điểm này được tính toán dựa trên trọng số mô hình học được từ các tập dữ liệu như COCO .

Ngưỡng Tự Tin

Trên thực tế, không phải tất cả các dự đoán từ một mô hình đều hữu ích hoặc đáng tin cậy như nhau. Các dự đoán có điểm tin cậy rất thấp thường biểu thị tiếng ồn nền hoặc phân loại không chắc chắn. Để lọc những điều này, một "ngưỡng tin cậy" thường được áp dụng. Đây là giá trị do người dùng xác định (ví dụ: 0,5 hoặc 50%); chỉ những dự đoán có điểm tin cậy cao hơn ngưỡng này mới được coi là đầu ra hợp lệ. Việc thiết lập một ngưỡng thích hợp là rất quan trọng và thường phụ thuộc vào ứng dụng cụ thể:

• Kịch bản thu hồi cao: Trong các ứng dụng như phân tích hình ảnh y tế để sàng lọc, ngưỡng thấp hơn có thể được sử dụng ban đầu để giảm thiểu khả năng bỏ sót các phát hiện tiềm ẩn ( thu hồi cao), ngay cả khi điều đó có nghĩa là nhiều kết quả dương tính giả hơn cần phải được con người xem xét. AI trong chăm sóc sức khỏe thường liên quan đến việc điều chỉnh ngưỡng cẩn thận.
• Các tình huống có độ chính xác cao: Trong các ứng dụng như lái xe tự động hoặc kiểm soát chất lượng trong AI trong sản xuất , ngưỡng cao hơn được ưu tiên để đảm bảo rằng các hành động chỉ được thực hiện dựa trên các dự đoán có độ chắc chắn cao ( độ chính xác cao), giúp giảm nguy cơ sai sót. Nghiên cứu về an toàn AI nhấn mạnh vào việc ra quyết định mạnh mẽ.

Ngưỡng tin cậy thường hoạt động kết hợp với các kỹ thuật như Non-Maximum Suppression (NMS) để tinh chỉnh bộ phát hiện cuối cùng bằng cách loại bỏ các hộp giới hạn chồng chéo cho cùng một đối tượng. Bạn có thể dễ dàng cấu hình ngưỡng này khi sử dụng Ultralytics mô hình thông qua giao diện dòng lệnh ( CLI ) hoặc Python API . Việc tìm ngưỡng tối ưu có thể liên quan đến việc điều chỉnh siêu tham số .

Ứng dụng trong thế giới thực

Điểm tin cậy đóng vai trò cơ bản trong việc triển khai các mô hình AI một cách có trách nhiệm và hiệu quả:

1. Hỗ trợ chẩn đoán y khoa: Trong các hệ thống phân tích hình ảnh quét y khoa (như X-quang hoặc MRI) để tìm các bất thường tiềm ẩn ( như phát hiện khối u ), điểm số tin cậy giúp ưu tiên các trường hợp. Một dự đoán với độ tin cậy thấp có thể chỉ ra một phát hiện mơ hồ đòi hỏi bác sĩ X quang phải kiểm tra kỹ hơn, trong khi các dự đoán có độ tin cậy cao có thể hợp lý hóa quy trình đánh giá. Nghiên cứu về AI X quang thường thảo luận về mức độ tin cậy.
2. Hệ thống tự động: Đối với xe tự lái hoặc rô-bốt , điểm tin cậy rất quan trọng đối với sự an toàn. Phát hiện người đi bộ hoặc phương tiện khác ( tìm hiểu về cách tiếp cận của Waymo ) phải đạt ngưỡng tin cậy cao trước khi hệ thống bắt đầu hành động như phanh hoặc đánh lái. Phát hiện có độ tin cậy thấp có thể bị bỏ qua hoặc kích hoạt cảnh báo ít quan trọng hơn. Điều này đảm bảo hệ thống chỉ hoạt động quyết đoán khi chắc chắn.

Sự tự tin so với các số liệu khác

Điều quan trọng là không nhầm lẫn điểm tin cậy của một dự đoán riêng lẻ với các số liệu đánh giá mô hình tổng thể. Mặc dù có liên quan, chúng đo lường các khía cạnh khác nhau của hiệu suất:

• Độ chính xác : Đo lường tỷ lệ phần trăm chung của các dự đoán chính xác trên toàn bộ tập dữ liệu. Nó cung cấp cảm nhận chung về hiệu suất của mô hình nhưng không phản ánh mức độ chắc chắn của từng dự đoán. Một mô hình có thể có độ chính xác cao nhưng vẫn đưa ra một số dự đoán với độ tin cậy thấp.
• Độ chính xác : Chỉ ra tỷ lệ dự đoán tích cực thực sự đúng (Tích cực thực sự / (Tích cực thực sự + Tích cực giả)). Độ chính xác cao có nghĩa là ít báo động sai hơn. Độ tin cậy phản ánh niềm tin của mô hình vào dự đoán của nó, có thể hoặc không thể phù hợp với tính chính xác.
• Thu hồi (Độ nhạy): Đo tỷ lệ các trường hợp dương tính thực tế mà mô hình xác định đúng (Dương tính thật / (Dương tính thật + Âm tính giả)). Thu hồi cao có nghĩa là ít phát hiện bị bỏ sót hơn. Độ tin cậy không liên quan trực tiếp đến số lượng dương tính thực tế được tìm thấy.
• Điểm F1 : Giá trị trung bình hài hòa của Độ chính xác và Độ thu hồi, cung cấp một số liệu duy nhất cân bằng cả hai. Độ tin cậy vẫn là điểm số ở cấp độ dự đoán.
• Độ chính xác trung bình trung bình (mAP) : Một số liệu phổ biến trong phát hiện đối tượng tóm tắt đường cong độ chính xác-thu hồi trên các ngưỡng và lớp tin cậy khác nhau. Trong khi tính toán mAP liên quan đến ngưỡng tin cậy, thì điểm tin cậy tự nó áp dụng cho từng phát hiện riêng lẻ.
• Hiệu chuẩn: Đề cập đến mức độ điểm tin cậy phù hợp với xác suất chính xác thực tế như thế nào. Dự đoán của mô hình được hiệu chuẩn tốt với độ tin cậy 80% sẽ đúng khoảng 80% thời gian. Điểm tin cậy từ các mô hình không phải lúc nào cũng được hiệu chuẩn tốt ( xem nghiên cứu về hiệu chuẩn ).

Tóm lại, sự tự tin là một đầu ra có giá trị để đánh giá mức độ chắc chắn của các dự đoán AI riêng lẻ, cho phép lọc, ưu tiên và ra quyết định tốt hơn trong các ứng dụng thực tế. Nó bổ sung, nhưng khác biệt với, các số liệu đánh giá hiệu suất tổng thể của một mô hình như những số liệu được theo dõi trong Ultralytics HUB .