Conformal Prediction

Конформное предсказание — это система для количественной оценки неопределенности, которая преобразует оценки любой обученной модели в наборы предсказаний или интервалы, гарантированно содержащие истинный ответ с выбранной пользователем вероятностью, например 95%. Конформный классификатор изображений возвращает все еще правдоподобные метки: одну для понятного изображения и несколько для неоднозначного. Конформный регрессор возвращает интервал. Гарантия действует для любой модели и любого распределения данных при условии, что калибровочные и новые данные являются обменными, то есть представляют собой независимые выборки из одного источника. Владимир Вовк, Александр Гаммерман и Гленн Шафер разработали этот метод в конце 1990-х и изложили его в книге Algorithmic Learning in a Random World 2005 года. Учебная статья Anastasios Angelopoulos и Stephen Bates за 2021 год — A Gentle Introduction to Conformal Prediction — знакомит с современными методами, используемыми в машинном обучении.

Как работает разделенное конформное предсказание#

Исходный полный метод conformal prediction заново обучает модель для каждого возможного ответа, что слишком медленно для глубокого обучения. Split, или индуктивный, conformal prediction, предложенный Харрисом Пападопулосом и коллегами в 2002 году, требует только одну обученную модель и отложенную калибровочную выборку:

1. Обучи модель на обучающих данных как обычно.
2. Запусти модель на n размеченных калибровочных примерах, которых она раньше не видела, и вычисли для каждого score несоответствия — число, которое растёт, когда истинный ответ кажется модели менее типичным. Для классификатора обычно используют score, равный единице минус вероятность, присвоенная истинному классу.
3. Возьми квантиль ceil((n + 1) x (1 - alpha)) / n этих score, называемый qhat. Слагаемое (n + 1) — поправка для конечной выборки, которая делает гарантию точной.
4. Для нового входного примера включи каждую возможную метку, score которой не превышает qhat.

Полученное множество содержит истинную метку с вероятностью не менее 1 - alpha. Поскольку score нового примера обменен с n калибровочными score, он с одинаковой вероятностью может занять любой ранг среди них, поэтому не ниже qhat он оказывается не менее чем в доле случаев 1 - alpha.

На что распространяется гарантия#

Гарантия маргинальная: она выполняется в среднем по всем входным данным. Модель может чрезмерно покрывать простые классы и недостаточно покрывать редкий класс, поэтому conformal prediction с условием на класс (Mondrian) калибрует отдельный qhat для каждого класса. Единственное предположение — обменность, и при дрейфе данных оно нарушается: если производственные изображения отличаются от калибровочных, калибровочная выборка должна поступать из данных развёртывания и обновляться при их изменении. Смещение набора данных в калибровочной выборке напрямую переносится в множества.

Полезный показатель — размер множества. Любой корректный метод обеспечивает целевое покрытие, поэтому методы конкурируют по размеру множеств, а более точная модель даёт меньшие множества. Adaptive Prediction Sets (APS) и Regularized Adaptive Prediction Sets (RAPS), последний метод проверяли на классификаторах ImageNet, используют накопленные вероятности, чтобы размер множества отражал сложность задачи; conformalized quantile regression формирует интервалы, которые расширяются там, где данные зашумлены.

Conformal prediction отличается от трёх родственных концепций. Оценка уверенности — это одно число без каких-либо гарантий. Методы калибровки, например температурное масштабирование, позволяют оценкам лучше соответствовать наблюдаемой точности, что уменьшает conformal-множества, но сами по себе не гарантируют покрытие. Статистический доверительный интервал описывает неопределённость оценки параметра популяции, например среднего, а conformal-множество указывает, где окажется один новый результат.

Множества предсказаний на практике#

Шаги выше на scikit-learn; обучающая выборка специально небольшая, чтобы классификатор ошибался:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

Отдельное наилучшее предсказание верно в 91.6% случаев, а conformal-множества содержат истинную цифру на 96.5% из 1,197 тестовых изображений — это выше целевого уровня 95%, при среднем размере множества 1.27 метки. Библиотеки, например MAPIE, объединяют эти шаги для классификации, регрессии и временных рядов.

Применение#

• Анализ медицинских изображений: Набор правдоподобных результатов с известной частотой ошибок показывает клиницистам в здравоохранении, когда снимок неоднозначен; множество с одной меткой обозначает случаи, с которыми модель справляется надёжно.
• Большие языковые модели (LLMs): Методы conformal prediction калибруют количество выдаваемых сгенерированных ответов или выбираемых утверждений, чтобы результат содержал правильный ответ с заданной частотой; это дополняет семантическую энтропию как защиту от галлюцинаций.
• Детекция объектов: Conformal-отступы вокруг предсказанных ограничивающих рамок задают область, содержащую истинную рамку с выбранной частотой; это полезно для планирования движения автономных автомобилей вокруг пешеходов.

Классификаторы изображений получают те же входные данные, что и в примере со scikit-learn. Модели классификации Ultralytics YOLO26 возвращают полный вектор softmax для каждого изображения в results[0].probs.data, поэтому вычисление score на отложенной выборке размеченных изображений даёт qhat, а в множество предсказаний входит каждый класс с вероятностью не ниже 1 - qhat.