Uncertainty Quantification

Định lượng độ bất định (UQ) là việc ước lượng mức độ bất định của model machine learning đối với từng dự đoán, đồng thời kiểm tra độ tin cậy của các ước lượng đó. Bên cạnh nhãn, giá trị hoặc bounding box, model có UQ trả về phân phối xác suất, khoảng dự đoán, tập nhãn có khả năng đúng hoặc phương sai. Hệ thống dùng các ước lượng này để quyết định khi nào tự động hành động, khi nào chuyển cho con người và cần thu thập dữ liệu mới nào. Điểm độ tin cậy là một dạng ước lượng; UQ cũng xem xét liệu điểm đó có được hiệu chuẩn hay không, nghĩa là các dự đoán có độ tin cậy 80% đúng khoảng 80% thời gian.

Độ bất định aleatoric và epistemic#

Độ bất định của dự đoán có hai nguồn; Alex Kendall và Yarin Gal đã đưa cách phân chia này vào học sâu cho thị giác trong bài báo năm 2017 What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?:

• Độ bất định ngẫu nhiên: Nhiễu vốn có trong dữ liệu, chẳng hạn nhòe do chuyển động, nhiễu cảm biến, che khuất hoặc nhãn mà người gán bất đồng. Thêm dữ liệu huấn luyện không loại bỏ được loại bất định này, vì đầu vào không chứa thông tin còn thiếu. Model có thể học cách dự đoán nó dưới dạng đầu ra bổ sung, chẳng hạn phương sai cho mỗi ước lượng độ sâu.
• Độ bất định nhận thức: Thiếu hụt kiến thức của model; mức độ này cao với đầu vào khác biệt so với mọi thứ trong dữ liệu huấn luyện, chẳng hạn camera, mùa hoặc loại đối tượng mới. Độ bất định này giảm khi bổ sung dữ liệu phù hợp, do đó báo hiệu trôi dạt dữ liệu và đầu vào ngoài phân phối.

Sự khác biệt này quyết định cách xử lý một dự đoán bất định:

Các phương pháp ước lượng độ bất định#

• Xác suất dự đoán: Đầu ra softmax của bộ phân loại là cách ước lượng ít tốn kém nhất, nhưng nghiên cứu năm 2017 của Chuan Guo và các cộng sự cho thấy các mạng sâu hiện đại thường xuyên quá tự tin. Hiệu chuẩn nhiệt độ trên dữ liệu giữ lại khắc phục phần lớn chênh lệch.
• Dropout Monte Carlo: Giữ dropout hoạt động khi suy luận và chạy đầu vào nhiều lần, xem độ phân tán của các đầu ra là ước lượng xấp xỉ theo Bayes về độ bất định, như Yarin Gal và Zoubin Ghahramani đã chỉ ra năm 2016.
• Ensemble sâu: Huấn luyện nhiều bản sao của mạng với các khởi tạo ngẫu nhiên khác nhau rồi đo mức độ bất đồng giữa chúng; đây là phương pháp do Balaji Lakshminarayanan và các cộng sự tại DeepMind giới thiệu năm 2017. Ensemble hoạt động tốt nhất khi có dịch chuyển tập dữ liệu trong một so sánh quy mô lớn năm 2019 của Google về các phương pháp UQ.
• Dự đoán conformal: Bọc bất kỳ model nào để tạo ra các tập dự đoán hoặc khoảng dự đoán chứa đáp án thực với một tỷ lệ đã chọn, chẳng hạn 95%.
• Entropy ngữ nghĩa: Lấy mẫu nhiều câu trả lời từ một mô hình ngôn ngữ lớn (LLM) và đo số lượng ý nghĩa khác nhau mà các câu trả lời thể hiện; đây là tín hiệu để phát hiện ảo giác.

Ensemble sâu trên tác vụ hồi quy một chiều thể hiện trực tiếp độ bất định nhận thức:

import numpy as np
from sklearn.neural_network import MLPRegressor

# Noisy samples of sin(x), observed only between -3 and 3
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, (200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, 200)

# Deep ensemble: the same network trained from five random initializations
ensemble = [MLPRegressor(hidden_layer_sizes=(32, 32), max_iter=3000, random_state=seed).fit(x, y) for seed in range(5)]

# Members agree where data exists and diverge where it does not
for x_new in (1.0, 8.0):
    preds = np.array([m.predict([[x_new]])[0] for m in ensemble])
    print(f"x={x_new}: mean {preds.mean():+.2f}, std {preds.std():.2f}")

Tại x = 1, nằm trong phạm vi huấn luyện, năm mạng dự đoán giá trị trung bình 0.86 so với giá trị thực 0.84, với độ lệch chuẩn 0.01. Tại x = 8, nằm xa ngoài phạm vi đó, các mạng dự đoán -1.17 trong khi giá trị thực là 0.99; độ lệch chuẩn tăng vọt lên 0.59, vì vậy ensemble đánh dấu chính xác dự đoán sai.

Đánh giá các ước lượng độ bất định#

Hiệu chuẩn được kiểm tra bằng biểu đồ độ tin cậy, biểu đồ chia các dự đoán theo độ tin cậy và thể hiện độ chính xác thực tế của từng nhóm; độ hiệu chuẩn cũng được tóm tắt bằng sai số hiệu chuẩn kỳ vọng hoặc điểm Brier. Khoảng dự đoán được đánh giá bằng độ bao phủ, tức tỷ lệ giá trị thực nằm trong khoảng, và độ rộng, vì khoảng đủ rộng để bao phủ mọi thứ sẽ không mang thông tin. Khả năng phát hiện ngoài phân phối được chấm bằng diện tích dưới đường cong ROC để phân biệt đầu vào quen thuộc với đầu vào lạ; các benchmark hiện báo cáo độ hiệu chuẩn bên cạnh độ chính xác: Humanity's Last Exam nhận thấy LLM ra mắt thời kỳ đầu có sai số hiệu chuẩn từ 73% đến 89%.

Ứng dụng#

• Phân tích ảnh y tế: Model chẩn đoán trong lĩnh vực chăm sóc sức khỏe chuyển các ảnh chụp có độ bất định cao cho bác sĩ X-quang, để tự động hóa xử lý các trường hợp rõ ràng còn con người xem xét các trường hợp khó phân định.
• Xe tự hành: Hệ thống nhận thức nới rộng biên độ an toàn hoặc trả quyền điều khiển lại khi độ bất định về độ sâu hoặc phát hiện tăng cao, chẳng hạn trong sương mù hoặc khi bị lóa.
• Học chủ động: Độ bất định quyết định ảnh chưa gán nhãn nào đáng để chú thích, vì các mẫu mà model kém chắc chắn nhất sẽ giúp model học được nhiều nhất.

Học chủ động là nơi pipeline phát hiện sử dụng độ bất định trực tiếp nhất. Mẫu Collect Uncertain Detections trong Ultralytics Platform Agents chạy ảnh của một tập dữ liệu qua model YOLO26 đã triển khai rồi sao chép mọi ảnh có ít nhất một phát hiện với độ tin cậy nằm trong khoảng đã chọn, chẳng hạn 0.25 đến 0.5, vào tập dữ liệu cần xem xét; ảnh chưa gán nhãn và sẵn sàng để chú thích, huấn luyện lại.