Temperature Scaling

Масштабирование температуры — это метод постфактум-калибровки, при котором логиты обученного классификатора перед softmax делятся на одно положительное число T. Значение T выбирают на отложенных данных так, чтобы уверенность модели соответствовала частоте её правильных ответов. Температура выше 1 смягчает чрезмерно уверенные вероятности, а ниже 1 повышает слишком низкие. Деление всех логитов на одно и то же положительное число сохраняет их порядок, поэтому предсказанный класс не меняется, а точность остаётся прежней. В исследовании «On Calibration of Modern Neural Networks» Го и его коллеги показали, что современные глубокие сети плохо откалиброваны, а масштабирование температуры — вариант масштабирования Платта с одним параметром — на удивление эффективно калибрует их на большинстве проверенных наборов данных.

Как работает масштабирование температуры#

Масштабированный softmax задаёт для класса i вероятность exp(z_i / T) / Σ_j exp(z_j / T), где z — логиты. При T = 1 модель не меняется; по мере роста T вероятности приближаются к равномерному распределению, а при стремлении T к 0 вероятность самого популярного класса приближается к 1. T подбирается после обучения минимизацией отрицательного логарифмического правдоподобия (NLL) — той же перекрёстной энтропии, которая используется как функция потерь при обучении, — на отложенной проверочной выборке при замороженных весах сети. Подбор одного параметра занимает секунды и оставляет мало возможностей для переобучения на проверочной выборке. В приведённом ниже скрипте на PyTorch значение T подбирается для модели, логиты которой завышены втрое:

import torch
import torch.nn.functional as F

# Held-out logits for 5,000 images and 10 classes from an overconfident model:
# labels are drawn so that softmax(logits / 3) is perfectly calibrated
torch.manual_seed(0)
logits = 9 * torch.randn(5000, 10)
labels = torch.multinomial(F.softmax(logits / 3, dim=1), 1).squeeze(1)

# Fit the single temperature that minimizes negative log-likelihood (NLL) on the held-out set
temperatures = torch.linspace(0.5, 6.0, 551)
nll = torch.stack([F.cross_entropy(logits / t, labels) for t in temperatures])
T = temperatures[nll.argmin()]

# Accuracy depends only on the argmax, which dividing by T never changes
accuracy = (logits.argmax(1) == labels).float().mean()
before = F.softmax(logits, dim=1).max(1).values.mean()
after = F.softmax(logits / T, dim=1).max(1).values.mean()
print(f"T = {T:.2f}, accuracy {accuracy:.3f}")
print(f"Mean confidence: {before:.3f} before, {after:.3f} after")

В результате подбора получено T = 2.98, что близко к истинному коэффициенту 3. Точность остаётся равной 0.663, а средняя уверенность падает с 0.880 до 0.664, то есть после масштабирования средняя уверенность модели соответствует её точности.

Почему сети становятся чрезмерно уверенными#

При обучении на основе перекрёстной энтропии сеть продолжает получать вознаграждение за увеличение логитов для обучающих примеров, которые она уже классифицирует правильно, поэтому уверенность растёт и после того, как точность на новых данных перестаёт повышаться. Го и его коллеги определили глубину, ширину, спад весов и пакетную нормализацию как важные факторы неправильной калибровки. Калибровку измеряют с помощью диаграмм надёжности, на которых точность сопоставляется с уверенностью по интервалам, а также с помощью ожидаемой ошибки калибровки (ECE) — среднего разрыва между уверенностью и точностью в этих интервалах с учётом количества предсказаний в каждом из них. NLL и оценка Брайера тоже учитывают качество калибровки. Калибровка важна всякий раз, когда оценку интерпретируют как вероятность: например, в правиле медицинской сортировки, направляющем на обследование каждый случай с риском выше 30%, в системе, передающей неуверенные предсказания человеку, или в цикле активного обучения, который выбирает для разметки изображения с наименьшей уверенностью.

Масштабирование температуры для детекторов объектов#

Детекторы обычно оценивают каждый класс независимо с помощью сигмоиды, а не softmax; температура применяется аналогично: sigmoid(z / T). При T выше 1 оценки приближаются к 0,5: высокие снижаются, а низкие повышаются. В YOLO26 уверенность для каждой рамки — это значение сигмоиды от логита класса, которое во время предсказания сравнивается с порогом 0,25 conf. Поэтому температура, подобранная на отложенных изображениях, меняет набор рамок, преодолевших этот порог, но сохраняет порядок всех рамок, от которого зависят метрики ранжирования, такие как средняя точность по всем классам (mAP).

Температура в других настройках#

• Большие языковые модели (LLMs): Температура сэмплирования аналогичным образом делит вектор логитов для каждого следующего токена на T, а пользователи задают её вручную, чтобы найти баланс между разнообразием и детерминированностью. При приближении T к 0 сэмплирование становится похожим на жадное декодирование, которое всегда выбирает наиболее вероятный токен.
• Дистилляция знаний: Метод дистилляции Хинтона и его коллег повышает температуру выходных данных softmax и учителя, и ученика, чтобы ученик усвоил относительные вероятности учителя для неверных классов.
• Контрастивное обучение: Такие модели, как CLIP, делят оценки сходства изображений и текста на обучаемую температуру перед softmax, регулируя тем самым, насколько сильно функция потерь отделяет совпадающие пары от остальных.

Масштабирование температуры и связанные методы#

• Масштабирование Платта: Перед применением сигмоиды подбирает наклон и смещение для оценки бинарного классификатора. Масштабирование температуры расширяет этот метод на множество классов, используя общий наклон 1 / T и не применяя смещение.
• Векторное и матричное масштабирование: Обучает отдельные веса и смещения для каждого класса или полную матрицу для логитов. Эти методы гибче, легче переобучаются и могут менять предсказанный класс.
• Изотоническая регрессия: Непараметрическое монотонное преобразование оценки в вероятность, доступное вместе с масштабированием Платта в инструментах калибровки scikit-learn.
• Сглаживание меток: Смягчает целевые значения при обучении, например задаёт 0.9 вместо 1.0 для истинного класса, чтобы уменьшить избыточную уверенность модели. Масштабирование температуры меняет только выходные данные уже обученной модели.
• Конформное предсказание: Преобразует оценки в наборы предсказаний, которые с гарантированной частотой, например в 90% случаев, содержат истинную метку на обменных данных.