Uncertainty Quantification

Định lượng độ bất định (UQ) là quá trình ước tính, đánh giá và truyền đạt mức độ không chắc chắn của một mô hình AI hoặc học máy đối với các dự đoán của nó. Thay vì chỉ trả về một nhãn, giá trị hoặc hộp giới hạn (bounding box), một quy trình UQ cung cấp thông tin bổ sung như phân phối xác suất, khoảng dự đoán, điểm số độ tin cậy hoặc tập hợp dự đoán. Điều này giúp người dùng không chỉ hiểu mô hình dự đoán điều gì, mà còn biết nên đặt bao nhiêu niềm tin vào dự đoán đó.

Link to this sectionTại sao Định lượng độ bất định lại quan trọng#

Các mô hình học các mẫu từ dữ liệu hạn chế, vì vậy đầu ra của chúng không bao giờ hoàn toàn chắc chắn. Các đầu vào có thể có nhiễu, nhãn có thể mơ hồ và dữ liệu sản xuất có thể khác biệt với phân phối huấn luyện. UQ giúp đo lường các giới hạn này và hỗ trợ đưa ra quyết định an toàn hơn, xem xét lại bằng con người và thu thập dữ liệu tốt hơn.

Ý tưởng này mở rộng mục tiêu rộng lớn hơn là đặc tả chất lượng mô hình được mô tả bởi chương trình đo lường ảo của NIST. Trong các hệ thống AI, các ước tính độ bất định có thể giúp các nhóm:

• Từ chối hoặc xem xét lại các dự đoán khi độ bất định vượt quá mức chấp nhận được.
• So sánh các dự đoán thay thế thay vì chỉ dựa vào một câu trả lời duy nhất.
• Xác định các đầu vào không quen thuộc và hiện tượng trôi dạt dữ liệu có thể xảy ra.
• Ưu tiên các mẫu không chắc chắn để gán nhãn thông qua học chủ động.
• Lan truyền độ bất định vào các phép tính và quyết định ở hạ nguồn, như được minh họa trong tổng quan của Bộ Năng lượng Hoa Kỳ về độ bất định trong các mô hình tính toán.

UQ đặc biệt quan trọng khi các lỗi dự đoán có hậu quả không đồng đều. Bỏ sót một người đi bộ nghiêm trọng hơn việc phát hiện sai một biển báo bên đường, do đó ngưỡng độ bất định chấp nhận được phụ thuộc vào ứng dụng.

Link to this sectionĐộ bất định Aleatoric và Epistemic#

Hai danh mục giải thích nguồn gốc của độ bất định dự đoán:

• Độ bất định Aleatoric (Aleatoric uncertainty), hay còn gọi là độ bất định ngẫu nhiên, xuất phát từ tính ngẫu nhiên vốn có hoặc sự mơ hồ trong dữ liệu. Độ mờ chuyển động, nhiễu cảm biến, sự che khuất một phần và các nhãn không nhất quán có thể làm cho hình ảnh khó diễn giải ngay cả đối với một mô hình được huấn luyện tốt. Thêm dữ liệu huấn luyện có thể giúp ước tính độ bất định này, nhưng không thể loại bỏ hoàn toàn sự mơ hồ cơ bản đó.
• Độ bất định Epistemic (Epistemic uncertainty) xuất phát từ kiến thức mô hình chưa đầy đủ. Nó thường xuất hiện khi dữ liệu huấn luyện không đủ, không mang tính đại diện hoặc thiếu các tình huống quan trọng. Thường có thể giảm thiểu điều này bằng cách thu thập các ví dụ liên quan, cải thiện các chú thích hoặc thay đổi mô hình.

UQ kết hợp thông tin về các nguồn này thành các đầu ra hữu ích. Các công cụ mô hình hóa xác suất như TensorFlow Probability có thể biểu diễn các dự đoán dưới dạng phân phối, trong khi các phương pháp tập hợp ước tính độ bất định bằng cách so sánh nhiều mô hình hoặc nhiều lần chạy huấn luyện. Sự bất đồng lớn thường cho thấy độ bất định epistemic lớn hơn.

Độ bất định có liên quan đến, nhưng rộng hơn, một điểm số độ tin cậy. Độ tin cậy mô tả sức mạnh của một dự đoán, trong khi UQ đánh giá xem điểm số đó có đáng tin cậy hay không và những nguồn độ bất định nào ảnh hưởng đến nó. Tương tự, dự đoán bảo thủ (conformal prediction) là một kỹ thuật cụ thể để tạo ra các tập hợp hoặc khoảng dự đoán với độ phủ mục tiêu theo các giả định đã định nghĩa.

Link to this sectionPhương pháp và Đánh giá#

Các phương pháp UQ phổ biến bao gồm đầu ra xác suất, phương pháp tập hợp, lấy mẫu lặp lại, mô hình hóa Bayes và khoảng dự đoán. Khoảng tin cậy Bootstrap ước tính độ biến thiên bằng cách lấy mẫu lại nhiều lần dữ liệu quan sát được. Đối với phân loại, việc hiệu chuẩn kiểm tra xem các dự đoán được gán xác suất khoảng 80% có chính xác trong khoảng 80% trường hợp hay không.

Một mô hình có thể chính xác nhưng được hiệu chuẩn kém, vì vậy các nhóm nên đánh giá cả hiệu suất tác vụ lẫn chất lượng độ bất định. Công cụ hiệu chuẩn xác suất sử dụng biểu đồ độ tin cậy và các kỹ thuật hiệu chuẩn để so sánh xác suất dự đoán với kết quả quan sát được. Quy tắc học máy của Google cũng nhấn mạnh các dự đoán xác suất có thể giải thích được và được giám sát.

Các tiêu chí đánh giá hữu ích bao gồm độ phủ, độ rộng khoảng, sai số hiệu chuẩn và hiệu suất trên các lát cắt dữ liệu khó. Đối với thị giác máy tính, chế độ validation của Ultralytics và hướng dẫn số liệu hiệu suất YOLO giúp kiểm tra độ chính xác (precision), độ thu hồi (recall), ma trận nhầm lẫn và hành vi độ tin cậy qua các lớp và ngưỡng.

Link to this sectionCác ứng dụng trong thực tế#

• Phân tích hình ảnh y tế: Một mô hình chẩn đoán có thể đánh dấu một bản quét để chuyên gia xem xét khi có nhiều phát hiện hợp lý có điểm số tương tự nhau hoặc khi hình ảnh khác biệt với dữ liệu huấn luyện của nó. Nếu không có bước chuyển giao này, một dự đoán sai lệch nhưng quá tự tin có thể làm chậm trễ quá trình điều trị.
• Kiểm tra trực quan trong sản xuất: Một trình phát hiện lỗi có thể gặp phải độ lóa, vật liệu mới hoặc hư hỏng chưa từng thấy trước đây. Định tuyến nhận thức độ bất định có thể chuyển các sản phẩm mơ hồ sang kiểm tra thủ công thay vì tự động chấp nhận hoặc từ chối chúng, giúp giảm cả lỗi bị bỏ sót lẫn lãng phí không cần thiết.

Các chính sách này kết nối độ bất định của mô hình với rủi ro vận hành. Khung quản lý rủi ro AI của NIST khuyến nghị đo lường độ bất định, tài liệu hóa các giới hạn tổng quát hóa và giám sát hệ thống trong suốt quá trình triển khai.

Link to this sectionĐộ bất định trong Quy trình làm việc của Ultralytics YOLO#

Ultralytics YOLO26 cung cấp điểm số độ tin cậy phát hiện thông qua Chế độ dự đoán được tài liệu hóa của nó:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Quy trình này cung cấp một tín hiệu hữu ích liên quan đến độ bất định, nhưng chỉ riêng độ tin cậy thì chưa phải là UQ hoàn chỉnh và không nên tự động được diễn giải là một xác suất đã hiệu chuẩn. Hãy xác thực điểm số trên dữ liệu giữ lại đại diện, chọn ngưỡng dựa trên chi phí lỗi và giám sát phân phối độ tin cậy sau khi triển khai.

Các nhóm có thể sử dụng Ultralytics Platform để chú thích tập dữ liệu, huấn luyện và triển khai mô hình, cũng như giám sát các điểm cuối. Kết hợp với việc giám sát và bảo trì mô hình đang diễn ra, các tín hiệu độ bất định có thể tiết lộ các điều kiện không quen thuộc, hướng dẫn con người xem xét và xác định khi nào cần có dữ liệu mới hoặc huấn luyện lại.