Temperature Scaling

Температурное масштабирование — это широко используемый метод постобработки, предназначенный для калибровки предсказанных вероятностей моделей искусственного интеллекта (ИИ) и машинного обучения (МО). В современном глубоком обучении модели часто проявляют излишнюю уверенность, что означает, что их предсказанные вероятности неточно отражают истинную статистическую калибровку или вероятность правильности. Температурное масштабирование решает эту проблему путем деления «сырых» выходных оценок сети (логитов) на единый обучаемый скалярный параметр, известный как «температура» (T), перед применением функции softmax. Эта корректировка смягчает вероятности, не меняя итогового решения по классификации изображений, гарантируя, что уверенность модели тесно коррелирует с её фактической точностью.

Link to this sectionКак работает температурное масштабирование#

В стандартной сети классификации последний слой выдает «сырые» логиты, которые затем проходят через активацию softmax для получения вероятностей, сумма которых равна единице. Современные архитектуры глубокого обучения, особенно те, что сильно оптимизированы с помощью функций потерь, таких как перекрестная энтропия, стремятся довести эти логиты до экстремальных значений для минимизации потерь, что приводит к явлению, при котором модель теряет калибровку и становится чрезмерно уверенной.

Температурное масштабирование вводит температурный параметр (T) в уравнение softmax.

• Когда T = 1, функция softmax ведет себя обычным образом.
• Когда T > 1, логиты масштабируются вниз, что смягчает выходное распределение, эффективно снижая пиковую уверенность и более равномерно распределяя вероятность между всеми классами.
• Когда T < 1, распределение становится более резким, побуждая модель быть еще более уверенной в своем лучшем предсказании.

Оптимизируя T на выделенном валидационном наборе данных, инженеры минимизируют ожидаемую ошибку калибровки. Эта простая однопараметрическая корректировка пользуется большой популярностью, поскольку требует минимальных вычислительных затрат и сохраняет исходную точность весов модели.

Link to this sectionТемпературное масштабирование против сглаживания меток (Label Smoothing)#

Хотя оба метода направлены на предотвращение переобучения и излишней уверенности, они работают на разных этапах жизненного цикла модели. Сглаживание меток применяется во время обучения. Оно изменяет целевые значения (например, меняя жесткую метку с 1.0 на 0.9), чтобы модель не присваивала полную вероятность одному классу. Напротив, температурное масштабирование — и более новые варианты, такие как Focal Temperature Scaling — являются методами пост-хок калибровки, применяемыми после завершения обучения; это означает, что они модифицируют выходные вероятности полностью обученной модели, не требуя повторного обучения.

Link to this sectionРеальные приложения#

Правильная калибровка модели критически важна для безопасности и надежности в различных отраслях:

• Медицинская диагностика: В таких задачах, как обнаружение опухолей головного мозга, излишне самоуверенная ошибочная классификация может привести к серьезным клиническим последствиям. Использование temperature scaling гарантирует, что система прогнозного моделирования выдает надежные вероятности. Если прогноз по снимку после калибровки остается крайне неопределенным, система может уверенно пометить изображение для ручной проверки радиологом. Недавние исследования по калибровке клинических моделей продолжают подчеркивать ценность этого метода в ограниченных диагностических средах с высокими ставками.
• Большие языковые модели (LLM): Для LLM температурное масштабирование активно используется для управления стохастичностью вывода и разнообразием генерации, как показано на примере температурного параметра OpenAI. Высокая температура позволяет получать более креативный и разнообразный текст, в то время как низкая температура дает детерминированные и сфокусированные ответы. По мере развития исследований разрабатываются такие методы, как Adaptive Temperature Scaling (ATS), предназначенные для коррекции деградации калибровки, которая часто возникает после обучения с подкреплением на основе отзывов людей.
• Автономные транспортные средства: В автономном вождении системы обнаружения объектов должны мгновенно определять, является ли препятствие пешеходом или тенью. Калибровка таких моделей компьютерного зрения гарантирует, что резервные механизмы, такие как экстренное торможение, будут надежно срабатывать, когда истинная уверенность модели падает ниже критического порога безопасности.

Link to this sectionПример кода: реализация температурного масштабирования#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Для команд, стремящихся беспрепятственно развертывать калиброванные системы компьютерного зрения, Ultralytics Platform предоставляет надежные инструменты для управления отслеживанием экспериментов, дообучением моделей и мониторингом задержки вывода в реальном времени. Кроме того, фундаментальные знания о современных методах калибровки можно проследить до влиятельных исследований, таких как "On Calibration of Modern Neural Networks", которые сделали температурное масштабирование отраслевым стандартом. Для получения дополнительных практических реализаций изучите фреймворки калибровки вероятностей scikit-learn или модели TensorFlow с учетом неопределенности.