Uncertainty Quantification

Định lượng độ bất định (UQ) là quá trình ước tính, đánh giá và truyền đạt mức độ không chắc chắn của một model AI hoặc học máy về các dự đoán của model đó. Thay vì chỉ trả về một nhãn, giá trị hoặc bounding box, quy trình UQ cung cấp thêm thông tin như phân phối xác suất, khoảng dự đoán, điểm tin cậy hoặc tập dự đoán. Điều này giúp người dùng hiểu không chỉ model dự đoán gì mà còn nên đặt bao nhiêu niềm tin vào dự đoán đó.

Tại sao Định lượng độ bất định Quan trọng#

Các model học các mẫu từ dữ liệu có giới hạn, vì vậy đầu ra của chúng không bao giờ hoàn toàn chắc chắn. Đầu vào có thể nhiễu, nhãn có thể mơ hồ và dữ liệu trong môi trường production có thể khác với phân phối dữ liệu huấn luyện. UQ giúp định lượng những hạn chế này, đồng thời hỗ trợ ra quyết định an toàn hơn, đánh giá bởi con người và thu thập dữ liệu tốt hơn.

Ý tưởng này mở rộng mục tiêu rộng hơn là đặc trưng hóa chất lượng model, được mô tả trong chương trình đo lường ảo của NIST. Trong các hệ thống AI, các ước tính độ bất định có thể giúp các team:

• Từ chối hoặc xem xét các dự đoán khi độ bất định vượt quá mức chấp nhận được.
• So sánh các dự đoán thay thế thay vì chỉ dựa vào một câu trả lời duy nhất.
• Xác định các đầu vào không quen thuộc và khả năng drift dữ liệu.
• Ưu tiên các mẫu không chắc chắn để gán nhãn thông qua học chủ động.
• Truyền độ bất định vào các phép tính và quyết định ở downstream, như được minh họa trong phần tổng quan của Bộ Năng lượng về độ bất định trong các model tính toán.

UQ đặc biệt quan trọng khi các lỗi dự đoán gây ra những hậu quả khác nhau. Bỏ sót một người đi bộ nghiêm trọng hơn so với việc phát hiện nhầm một biển báo ven đường, vì vậy ngưỡng độ bất định chấp nhận được phụ thuộc vào ứng dụng.

Độ bất định Aleatoric và Epistemic#

Hai nhóm sau giải thích nguồn gốc của độ bất định trong dự đoán:

• Độ bất định aleatoric, còn được gọi là độ bất định ngẫu nhiên, xuất phát từ tính ngẫu nhiên hoặc sự mơ hồ vốn có trong dữ liệu. Motion blur, nhiễu cảm biến, che khuất một phần và nhãn không nhất quán có thể khiến một hình ảnh khó diễn giải ngay cả với một model được huấn luyện tốt. Có thêm dữ liệu huấn luyện có thể giúp ước tính độ bất định này, nhưng không thể loại bỏ hoàn toàn sự mơ hồ nền tảng.
• Độ bất định epistemic xuất phát từ kiến thức chưa đầy đủ của model. Độ bất định này thường xuất hiện khi dữ liệu huấn luyện không đủ, không đại diện hoặc thiếu các tình huống quan trọng. Thường có thể giảm độ bất định bằng cách thu thập các ví dụ phù hợp, cải thiện annotation hoặc thay đổi model.

UQ kết hợp thông tin về các nguồn này thành những đầu ra hữu ích. Các công cụ model hóa xác suất như TensorFlow Probability có thể biểu diễn dự đoán dưới dạng các phân phối, trong khi các phương pháp ensemble ước tính độ bất định bằng cách so sánh nhiều model hoặc các lần chạy huấn luyện. Mức độ bất đồng lớn thường cho thấy độ bất định epistemic cao hơn.

Độ bất định có liên quan đến nhưng rộng hơn điểm tin cậy. Độ tin cậy mô tả mức độ mạnh của một dự đoán, trong khi UQ đánh giá liệu điểm số đó có đáng tin cậy hay không và những nguồn độ bất định nào ảnh hưởng đến nó. Tương tự, dự đoán conformal là một kỹ thuật cụ thể để tạo ra các tập hoặc khoảng dự đoán có độ bao phủ mục tiêu trong các giả định xác định.

Phương pháp và Đánh giá#

Các phương pháp UQ phổ biến gồm đầu ra xác suất, ensemble, lấy mẫu lặp lại, model Bayesian và khoảng dự đoán. Khoảng tin cậy bootstrap ước tính độ biến thiên bằng cách lấy mẫu lại dữ liệu quan sát nhiều lần. Đối với bài toán phân loại, calibration kiểm tra xem các dự đoán được gán xác suất xấp xỉ 80% có đúng khoảng 80% số lần hay không.

Một model có thể đạt độ chính xác cao nhưng calibration kém, vì vậy các team nên đánh giá cả hiệu năng của tác vụ và chất lượng độ bất định. Các công cụ calibration xác suất sử dụng biểu đồ độ tin cậy và các kỹ thuật calibration để so sánh xác suất dự đoán với kết quả quan sát được. Các quy tắc về Machine Learning của Google cũng nhấn mạnh các dự đoán xác suất có thể diễn giải và được giám sát.

Các tiêu chí đánh giá hữu ích gồm độ bao phủ, độ rộng khoảng, lỗi calibration và hiệu năng trên các lát cắt dữ liệu khó. Đối với computer vision, chế độ validation của Ultralytics và hướng dẫn về các metric hiệu năng của YOLO giúp kiểm tra precision, recall, ma trận nhầm lẫn và hành vi của độ tin cậy trên các class và ngưỡng khác nhau.

Các ứng dụng trong thực tế#

• Phân tích hình ảnh y khoa: Một model chẩn đoán có thể đánh dấu một ảnh chụp để chuyên gia xem xét khi một số phát hiện khả dĩ có điểm số tương đương hoặc khi hình ảnh khác với dữ liệu huấn luyện của model. Nếu không có bước chuyển tiếp này, một dự đoán sai nhưng quá tự tin có thể làm chậm quá trình điều trị.
• Kiểm tra trực quan trong sản xuất: Một detector lỗi có thể gặp ánh sáng chói, vật liệu mới hoặc hư hỏng chưa từng thấy trước đây. Cơ chế định tuyến có nhận biết độ bất định có thể gửi các sản phẩm mơ hồ đến bước kiểm tra thủ công thay vì tự động chấp nhận hoặc loại bỏ, qua đó giảm cả lỗi lọt qua kiểm tra lẫn lãng phí không cần thiết.

Các chính sách này kết nối độ bất định của model với rủi ro vận hành. Khung cốt lõi về quản lý rủi ro AI của NIST khuyến nghị đo lường độ bất định, ghi chép các giới hạn tổng quát hóa và giám sát hệ thống trong suốt quá trình triển khai.

Độ bất định trong quy trình làm việc với Ultralytics YOLO#

Ultralytics YOLO26 cung cấp các điểm tin cậy của detection thông qua Predict mode được ghi rõ trong tài liệu:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Quy trình này cung cấp một tín hiệu hữu ích liên quan đến độ bất định, nhưng chỉ riêng độ tin cậy chưa tạo thành UQ đầy đủ và không nên tự động được diễn giải là một xác suất đã calibration. Hãy validation các điểm số trên dữ liệu giữ lại đại diện, chọn ngưỡng dựa trên chi phí lỗi và giám sát các phân phối độ tin cậy sau khi triển khai.

Các team có thể sử dụng Ultralytics Platform để annotation dataset, huấn luyện và triển khai model cũng như giám sát các endpoint. Kết hợp với việc giám sát và bảo trì model liên tục, các tín hiệu độ bất định có thể làm lộ những điều kiện không quen thuộc, định hướng việc đánh giá bởi con người và xác định thời điểm cần dữ liệu mới hoặc retraining.