Temperature Scaling

Temperature scaling은 Artificial Intelligence (AI) 및 Machine Learning (ML) 모델의 예측 확률을 보정하기 위해 설계된 널리 사용되는 후처리 기법입니다. 현대의 딥러닝에서 모델은 종종 과잉 확신(overconfidence)을 보이는 경향이 있으며, 이는 모델의 예측 확률이 실제 statistical calibration이나 정확성을 반영하지 못한다는 것을 의미합니다. Temperature scaling은 softmax 함수를 적용하기 전에 네트워크의 원시 출력 점수(logits)를 "temperature"(T)라고 알려진 단일 학습 가능한 스칼라 매개변수로 나누어 이 문제를 해결합니다. 이러한 조정은 최종 image classification 결정을 변경하지 않으면서도 확률을 완화하여, 모델의 confidence가 실제 정확도와 긴밀하게 일치하도록 보장합니다.

Link to this sectionTemperature Scaling의 작동 원리#

표준 분류 네트워크에서 최종 레이어는 원시 logits를 출력하며, 이는 softmax 활성화 함수를 통과하여 합이 1이 되는 확률값을 생성합니다. 현대의 deep learning 아키텍처, 특히 교차 엔트로피(cross-entropy)와 같은 loss functions으로 강력하게 최적화된 모델은 손실을 최소화하기 위해 이러한 logits 값을 극단적으로 밀어붙이는 경향이 있으며, 이로 인해 모델의 보정이 어긋나고 과잉 확신을 하게 되는 현상이 발생합니다.

Temperature scaling은 softmax 방정식에 temperature 매개변수(T)를 도입합니다.

• T = 1일 때, softmax 함수는 정상적으로 작동합니다.
• T > 1일 때, logits가 축소되어 출력 분포가 완화되며, 결과적으로 최고점의 신뢰도를 낮추고 확률 질량을 모든 클래스에 걸쳐 더 균등하게 분배합니다.
• T < 1일 때, 분포는 더 날카로워지며 모델이 상위 예측값에 대해 더 높은 확신을 갖도록 유도합니다.

별도로 지정된 검증 세트에서 T를 최적화함으로써 엔지니어들은 예상 보정 오류(expected calibration error)를 최소화합니다. 이 간단한 단일 매개변수 조정은 계산 오버헤드가 최소화되고 model weights의 원래 정확도를 보존하기 때문에 매우 선호됩니다.

Link to this sectionTemperature Scaling과 Label Smoothing 비교#

두 기법 모두 overfitting과 과잉 확신을 방지하려는 목적은 같지만, 모델 수명 주기의 서로 다른 단계에서 작동합니다. Label smoothing은 학습 중에 적용됩니다. 이는 모델이 단일 클래스에 전체 확률을 할당하는 것을 방지하기 위해 정답 타겟(예: 하드 라벨을 1.0에서 0.9로 변경)을 수정합니다. 반면, temperature scaling 및 Focal Temperature Scaling과 같은 최신 변형 기법은 학습이 완료된 후 적용되는 사후 보정 방법으로, 재학습 과정 없이 완전히 학습된 모델의 출력 확률을 수정합니다.

Link to this section실제 애플리케이션 사례#

적절한 모델 보정은 다양한 산업 분야에서 안전성과 신뢰성을 위해 매우 중요합니다.

• 의료 진단: 뇌종양 탐지와 같은 작업에서 지나치게 자신감 있는 오분류는 심각한 임상적 결과를 초래할 수 있습니다. Temperature scaling을 사용하면 예측 모델링 시스템이 신뢰할 수 있는 확률을 출력하도록 보장합니다. scaling 후 스캔 예측 결과가 매우 불확실한 경우, 시스템은 해당 이미지를 방사선 전문의가 수동으로 검토하도록 확실하게 분류할 수 있습니다. 최근 임상 모델 보정에 관한 연구들은 제약이 많고 위험 부담이 큰 진단 환경에서 이 기술의 가치를 계속해서 강조하고 있습니다.
• Large Language Models (LLMs): LLM의 경우, OpenAI의 temperature 매개변수에서 볼 수 있듯이 출력의 확률성과 생성 다양성을 제어하기 위해 temperature scaling이 널리 활용됩니다. 높은 온도는 더 창의적이고 다양한 텍스트를 생성하며, 낮은 온도는 결정론적이고 집중된 응답을 제공합니다. 연구가 발전함에 따라, Adaptive Temperature Scaling (ATS)와 같은 기법들이 개발되어 인간 피드백을 통한 강화 학습 후 흔히 발생하는 보정 저하 문제를 해결하고 있습니다.
• Autonomous Vehicles: 자율 주행에서 object detection 시스템은 장애물이 보행자인지 아니면 그림자인지 즉각적으로 판단해야 합니다. 이러한 비전 모델을 보정하면 모델의 실제 신뢰도가 임계 안전 수준 이하로 떨어질 때 비상 제동과 같은 안전 장치가 확실하게 작동하도록 보장할 수 있습니다.

Link to this section코드 예시: Temperature Scaling 구현#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

보정된 컴퓨터 비전 시스템을 원활하게 배포하려는 팀을 위해 Ultralytics Platform은 experiment tracking, 모델 파인튜닝, 실시간 inference latency 모니터링을 관리하기 위한 강력한 도구를 제공합니다. 또한 현대적인 보정 기법에 대한 기초 지식은 temperature scaling을 업계 표준으로 대중화한 "On Calibration of Modern Neural Networks"와 같은 영향력 있는 연구들에서 확인할 수 있습니다. 추가적인 실제 구현 사례는 scikit-learn의 확률 보정 프레임워크나 TensorFlow의 불확실성 인식 모델을 살펴보십시오.