Conformal Prediction

Dự đoán conformal là một framework định lượng độ bất định, biến điểm số của bất kỳ model đã huấn luyện nào thành các tập dự đoán hoặc khoảng dự đoán được đảm bảo chứa câu trả lời thật với tỷ lệ do người dùng chọn, chẳng hạn 95%. Bộ phân loại ảnh conformal trả về mọi nhãn vẫn có khả năng đúng—một nhãn cho ảnh rõ ràng và nhiều nhãn cho ảnh mơ hồ—còn bộ hồi quy conformal trả về một khoảng. Đảm bảo này áp dụng cho mọi model và mọi phân phối dữ liệu, với điều kiện dữ liệu hiệu chỉnh và dữ liệu mới có thể hoán đổi cho nhau, tức là các mẫu độc lập lấy từ cùng một nguồn. Vladimir Vovk, Alexander Gammerman và Glenn Shafer phát triển phương pháp này từ cuối thập niên 1990 và trình bày trong cuốn sách năm 2005 Algorithmic Learning in a Random World; hướng dẫn năm 2021 A Gentle Introduction to Conformal Prediction của Anastasios Angelopoulos và Stephen Bates giới thiệu các phương pháp hiện đại được dùng trong học máy.

Dự đoán conformal phân tách hoạt động như thế nào#

Phương pháp conformal đầy đủ ban đầu huấn luyện lại model cho từng câu trả lời tiềm năng, quá chậm đối với deep learning. Dự đoán conformal phân tách, hay quy nạp, do Harris Papadopoulos và các cộng sự giới thiệu năm 2002, chỉ cần một model đã huấn luyện và một tập hiệu chuẩn được giữ lại:

1. Huấn luyện model trên dữ liệu huấn luyện như bình thường.
2. Chạy model trên n ví dụ hiệu chuẩn có nhãn mà model chưa từng thấy, rồi tính điểm không phù hợp cho từng ví dụ; đây là một giá trị tăng lên khi đáp án đúng trông càng ít điển hình đối với model. Với bộ phân loại, điểm số thường dùng là 1 trừ đi xác suất được gán cho lớp đúng.
3. Lấy phân vị ceil((n + 1) x (1 - alpha)) / n của các điểm số đó, gọi là qhat. Thành phần (n + 1) là hiệu chỉnh mẫu hữu hạn giúp đảm bảo tính chính xác.
4. Với đầu vào mới, đưa vào mọi nhãn tiềm năng có điểm số không vượt quá qhat.

Tập kết quả chứa nhãn đúng với xác suất ít nhất là 1 - alpha. Vì điểm số của ví dụ mới có tính trao đổi được với n điểm hiệu chuẩn, ví dụ này có xác suất như nhau để nằm ở mọi thứ hạng trong số đó, nên điểm số của nó không vượt quá qhat trong ít nhất tỷ lệ 1 - alpha số lần.

Phạm vi đảm bảo#

Đảm bảo này là biên: đúng khi xét trung bình trên mọi đầu vào. Model có thể bao phủ quá mức các lớp dễ và bao phủ thiếu một lớp hiếm, vì vậy dự đoán conformal có điều kiện theo lớp (Mondrian) hiệu chuẩn một qhat riêng cho từng lớp. Tính trao đổi được là giả định duy nhất, nhưng giả định này không còn đúng khi có độ trôi dữ liệu, tức khi ảnh trong môi trường production khác ảnh hiệu chuẩn; do đó, tập hiệu chuẩn phải lấy từ dữ liệu triển khai và được làm mới khi dữ liệu đó thay đổi. Thiên lệch tập dữ liệu trong tập hiệu chuẩn được phản ánh trực tiếp vào các tập kết quả.

Kích thước tập kết quả là tín hiệu hữu ích. Mọi quy trình hợp lệ đều đạt độ bao phủ mục tiêu, vì vậy các phương pháp cạnh tranh về độ nhỏ của tập kết quả, và model chính xác hơn sẽ tạo ra các tập nhỏ hơn. Tập dự đoán thích ứng (APS) và Tập dự đoán thích ứng có điều chuẩn (RAPS), phương pháp sau được thử nghiệm trên các bộ phân loại ImageNet, sử dụng xác suất tích lũy để kích thước tập phản ánh độ khó; còn hồi quy phân vị được conformal hóa tạo ra các khoảng rộng hơn ở những vùng dữ liệu nhiễu.

Dự đoán conformal khác với ba khái niệm liên quan. Điểm tin cậy là một giá trị đơn lẻ không kèm theo bảo đảm nào. Các phương pháp hiệu chuẩn như temperature scaling giúp điểm số khớp hơn với độ chính xác quan sát được, qua đó thu nhỏ các tập conformal nhưng bản thân chúng không đảm bảo độ bao phủ. Khoảng tin cậy thống kê mô tả độ bất định về một tham số tổng thể như giá trị trung bình, trong khi tập conformal mô tả nơi một kết quả mới có thể rơi vào.

Tập dự đoán trong thực tế#

Các bước trên được thực hiện bằng scikit-learn, với tập huấn luyện được cố ý giữ nhỏ để bộ phân loại mắc lỗi:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

Chỉ riêng dự đoán đứng đầu đúng trong 91.6% số lần, trong khi các tập conformal chứa chữ số đúng trong 96.5% của 1,197 ảnh kiểm thử, cao hơn mục tiêu 95%, với trung bình 1.27 nhãn. Các thư viện như MAPIE đóng gói những bước này cho phân loại, hồi quy và chuỗi thời gian.

Ứng dụng#

• Phân tích ảnh y tế: Tập hợp các phát hiện có khả năng xảy ra cùng tỷ lệ lỗi đã biết cho bác sĩ lâm sàng trong lĩnh vực y tế biết khi nào ảnh chụp chưa rõ ràng; tập chỉ có một nhãn đánh dấu các trường hợp model xử lý đáng tin cậy.
• Model ngôn ngữ lớn (LLM): Các phương pháp conformal hiệu chuẩn số lượng câu trả lời được lấy mẫu cần trả về hoặc những nhận định cần giữ lại, để đầu ra chứa câu trả lời đúng với tỷ lệ đã chọn; phương pháp này bổ trợ cho entropy ngữ nghĩa như một biện pháp bảo vệ trước ảo giác.
• Phát hiện đối tượng: Biên conformal quanh bounding box được dự đoán tạo thành vùng chứa box thực với tỷ lệ đã chọn, hữu ích để xe tự hành lập kế hoạch tránh người đi bộ.

Bộ phân loại ảnh cung cấp cùng đầu vào như ví dụ scikit-learn. Model phân loại Ultralytics YOLO26 trả về đầy đủ vector softmax cho mọi ảnh trong results[0].probs.data; do đó, chấm điểm một tập ảnh có nhãn được giữ lại sẽ cho ta qhat, và mọi lớp có xác suất ít nhất 1 - qhat sẽ được đưa vào tập dự đoán.