Uncertainty Quantification

Количественная оценка неопределённости (UQ) — это практика оценки степени неопределённости модели машинного обучения для каждого предсказания и проверки надёжности этих оценок. Помимо метки, значения или ограничивающей рамки, модель с UQ возвращает распределение вероятностей, интервал предсказания, набор правдоподобных меток или дисперсию. Системы используют эти оценки, чтобы решать, когда действовать автоматически, когда передать задачу человеку и какие новые данные собрать. Оценка уверенности — один из таких показателей. UQ также проверяет, откалибрована ли эта оценка, то есть верны ли примерно 80% предсказаний, сделанных с уверенностью 80%.

Алеаторная и эпистемическая неопределённость#

У предсказательной неопределённости два источника. В статье 2017 года What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? Алекс Кендалл и Ярин Гал перенесли это разделение в глубокое обучение для компьютерного зрения:

• Алеаторная неопределённость: Шум в самих данных, например размытие из-за движения, шум датчика, перекрытие или разногласия аннотаторов по поводу меток. Дополнительные обучающие данные её не устранят, потому что во входных данных отсутствует нужная информация. Модель может научиться предсказывать её как дополнительный выходной параметр, например дисперсию для каждой оценки глубины.
• Эпистемическая неопределённость: Недостаток знаний у модели; она высока для входных данных, непохожих на данные из её обучающего набора, например для новой камеры, времени года или типа объекта. По мере добавления релевантных данных она уменьшается, поэтому указывает на дрейф данных и входные данные вне обучающего распределения.

Различие между этими видами неопределённости определяет, что делать с неуверенным предсказанием:

Методы оценки неопределённости#

• Предсказанные вероятности: Выходные данные классификатора после применения softmax — самый дешёвый способ оценки, но исследование Чуана Го и его коллег в 2017 году показало, что современные глубокие сети систематически переоценивают свою уверенность. Масштабирование температуры на отложенных данных в значительной степени устраняет это расхождение.
• Дропаут Монте-Карло: Оставляет дропаут включённым на этапе инференса и запускает входные данные несколько раз, трактуя разброс выходных данных как приближённую байесовскую неопределённость, как показали Ярин Гал и Зубин Гахрамани в 2016 году.
• Глубокие ансамбли: Обучают несколько копий сети с разными случайными начальными параметрами и измеряют расхождения между ними. Этот метод в 2017 году представили Баладжи Лакшминараянан и его коллеги из DeepMind. В масштабном сравнении методов UQ, проведённом Google в 2019 году, ансамбли лучше всего справлялись при сдвиге распределения данных.
• Конформное предсказание: Дополняет любую модель так, чтобы она выдавала наборы предсказаний или интервалы, содержащие верный ответ с заданной частотой, например 95%.
• Семантическая энтропия: Получает несколько ответов от большой языковой модели (LLM) и оценивает, сколько разных смыслов они выражают; этот показатель помогает выявлять галлюцинации.

Глубокий ансамбль на задаче одномерной регрессии наглядно демонстрирует эпистемическую неопределённость:

import numpy as np
from sklearn.neural_network import MLPRegressor

# Noisy samples of sin(x), observed only between -3 and 3
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, (200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, 200)

# Deep ensemble: the same network trained from five random initializations
ensemble = [MLPRegressor(hidden_layer_sizes=(32, 32), max_iter=3000, random_state=seed).fit(x, y) for seed in range(5)]

# Members agree where data exists and diverge where it does not
for x_new in (1.0, 8.0):
    preds = np.array([m.predict([[x_new]])[0] for m in ensemble])
    print(f"x={x_new}: mean {preds.mean():+.2f}, std {preds.std():.2f}")

При x = 1, внутри обучающего диапазона, пять сетей предсказывают среднее значение 0,86 при истинном значении 0,84 и стандартном отклонении 0,01. При x = 8, далеко за его пределами, они предсказывают -1,17 при истинном значении 0,99, а стандартное отклонение возрастает до 0,59. Таким образом, ансамбль отмечает именно то предсказание, которое ошибочно.

Оценка неопределённости#

Калибровку проверяют с помощью диаграммы надёжности: предсказания группируют по уверенности и отображают фактическую точность для каждой группы; также её сводят к ожидаемой ошибке калибровки или оценке Брайера. Интервалы предсказаний оценивают по охвату — доле истинных значений, попавших в интервал, — и по ширине, поскольку интервал, достаточно широкий, чтобы охватить всё, не несёт информации. Для обнаружения данных вне распределения используют площадь под ROC-кривой, оценивая способность отделять знакомые входные данные от незнакомых. В бенчмарках теперь указывают калибровку наряду с точностью: исследование Humanity’s Last Exam показало, что ошибки калибровки LLM, выпущенных на раннем этапе, составляют от 73% до 89%.

Применение#

• Анализ медицинских изображений: Диагностические модели в здравоохранении направляют снимки с высокой неопределённостью радиологу, поэтому автоматика обрабатывает очевидные случаи, а специалисты проверяют неоднозначные.
• Автономные транспортные средства: Системы восприятия увеличивают безопасную дистанцию или передают управление человеку, когда растёт неопределённость оценки глубины или обнаружения объектов, например в тумане или при ослепляющем свете.
• Активное обучение: По уровню неопределённости определяют, какие неразмеченные изображения стоит аннотировать, поскольку больше всего модель учится на примерах, в которых она наименее уверена.

Именно при активном обучении конвейеры обнаружения наиболее явно используют неопределённость. Шаблон Collect Uncertain Detections в агентах Ultralytics Platform обрабатывает изображения набора данных с помощью развёрнутой модели YOLO26 и копирует в набор для проверки без разметки каждое изображение, в котором есть хотя бы одно обнаружение с уверенностью в заданном диапазоне, например от 0,25 до 0,5. После этого изображения можно аннотировать и использовать для повторного обучения.