Độ tin cậy

Trong lĩnh vực học máy và trí tuệ nhân tạo, điểm tin cậy là một giá trị số biểu thị khả năng một dự đoán cụ thể do mô hình đưa ra là chính xác. Thường được biểu thị dưới dạng xác suất từ 0 đến 1 (hoặc tỷ lệ phần trăm từ 0% đến 100%), điểm số này định lượng mức độ chắc chắn của mạng nơ-ron liên quan đến kết quả đầu ra của nó. Ví dụ, trong một tác vụ phát hiện vật thể , hệ thống có thể dự đoán sự hiện diện của một "con mèo" với độ tin cậy là 0,95, cho thấy mức độ tin cậy cao vào độ chính xác của nhãn đó. Những điểm số này thường được lấy từ lớp cuối cùng của mô hình bằng cách sử dụng các hàm kích hoạt như hàm softmax cho các bài toán đa lớp hoặc hàm sigmoid cho phân loại nhị phân.

Vai trò của sự tự tin trong suy luận

Điểm tin cậy là một thành phần cơ bản của quy trình làm việc của công cụ suy luận . Chúng cho phép các nhà phát triển lọc dự đoán dựa trên mức độ chắc chắn cần thiết, một quy trình được gọi là ngưỡng. Bằng cách thiết lập một ngưỡng tin cậy cụ thể, bạn có thể quản lý hiệu quả sự cân bằng giữa việc xác định mọi đối tượng có thể (độ nhớ lại cao) và đảm bảo các đối tượng được xác định là chính xác (độ chính xác cao).

Trong triển khai mô hình thực tế, các dự đoán thô thường chứa nhiễu hoặc phát hiện xác suất thấp. Các kỹ thuật như triệt tiêu không tối đa ( NMS ) sử dụng điểm tin cậy để loại bỏ các hộp chồng chéo dư thừa, chỉ giữ lại phát hiện có xác suất cao nhất. Điều này đảm bảo đầu ra cuối cùng được trình bày cho người dùng là rõ ràng và có thể thực hiện được.

Ví dụ sau đây minh họa cách áp dụng ngưỡng tin cậy trong quá trình suy luận bằng Ultralytics YOLO11 :

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image with a confidence threshold of 0.6 (60%)
# This filters out any detections with a confidence score lower than 0.6
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.6)

# Display the count of objects detected above the threshold
print(f"Detected {len(results[0].boxes)} objects with high confidence.")

Các Ứng dụng Thực tế

Tiện ích của điểm số tin cậy mở rộng đến hầu hết mọi ngành triển khai giải pháp thị giác máy tính và AI.

• Hệ thống tự hành: Trong quá trình phát triển xe tự hành , an toàn là yếu tố tối quan trọng. Hệ thống nhận thức sử dụng điểm số tin cậy để kết hợp dữ liệu từ camera và LiDAR. Nếu mô hình thị giác phát hiện chướng ngại vật với độ tin cậy thấp, hệ thống có thể đối chiếu với dữ liệu radar trước khi kích hoạt phanh khẩn cấp. Phương pháp tiếp cận phân lớp này, rất quan trọng đối với AI trong ô tô , giúp ngăn ngừa các sự cố phanh ảo nguy hiểm do báo động giả .
• Chẩn đoán Y khoa: Trong phân tích hình ảnh y khoa , các công cụ AI hỗ trợ bác sĩ bằng cách đánh dấu các bất thường tiềm ẩn trong ảnh X-quang hoặc MRI. Một hệ thống được thiết kế cho AI trong chăm sóc sức khỏe có thể tự động phân loại các trường hợp dựa trên mức độ tin cậy. Các phát hiện bệnh lý có độ tin cậy cao được ưu tiên để bác sĩ X-quang xem xét ngay lập tức, trong khi các vùng có độ tin cậy thấp có thể được đánh dấu để "xem lại", đảm bảo rằng AI hoạt động như một trợ lý hỗ trợ chứ không phải là người ra quyết định cuối cùng.

Sự tự tin so với Độ chính xác và Độ chính xác

Điều quan trọng đối với người thực hành là phải phân biệt "sự tin cậy" với các số liệu đánh giá tiêu chuẩn được sử dụng để đánh giá chuẩn các mô hình.

• Độ tin cậy so với Độ chính xác: Độ chính xác đo lường mức độ chính xác tổng thể của một mô hình trên toàn bộ tập dữ liệu (ví dụ: "Mô hình chính xác 90%"). Ngược lại, độ tin cậy là một giá trị dự đoán cụ thể (ví dụ: "Tôi chắc chắn 90% rằng hình ảnh cụ thể này là một con chó"). Một mô hình có thể chính xác nhìn chung nhưng vẫn cho ra độ tin cậy thấp trong các ví dụ khó.
• Độ tin cậy so với Độ chính xác: Độ chính xác tính toán tỷ lệ phần trăm các dự đoán tích cực thực sự chính xác. Tuy có liên quan, điểm số độ tin cậy cao không đảm bảo độ chính xác cao nếu mô hình bị quá khớp hoặc hiệu chuẩn kém.
• Hiệu chuẩn: Một mô hình được coi là "hiệu chuẩn tốt" nếu điểm tin cậy của nó phản ánh xác suất chính xác thực sự. Ví dụ, trong số tất cả các dự đoán được đưa ra với độ tin cậy 0,8, khoảng 80% phải là kết quả trùng khớp dương tính thực tế.

Cải thiện sự tự tin của người mẫu

Nếu một mô hình liên tục cho kết quả độ tin cậy thấp đối với các đối tượng hợp lệ, điều đó có thể chỉ ra vấn đề với dữ liệu huấn luyện . Các chiến lược để cải thiện điều này bao gồm tăng cường dữ liệu để mô hình tiếp xúc với nhiều ánh sáng và hướng khác nhau hơn, hoặc sử dụng học tập chủ động để chú thích và huấn luyện lại các "trường hợp ngoại lệ" cụ thể mà mô hình hiện chưa chắc chắn. Việc đảm bảo các tập dữ liệu đa dạng và chất lượng cao là điều cần thiết để xây dựng các hệ thống mạnh mẽ mà người dùng có thể tin tưởng.