Temperature Scaling

Temperature scaling은 Artificial Intelligence (AI) 및 Machine Learning (ML) 모델의 예측 확률을 보정하기 위해 널리 사용되는 후처리 기법입니다. 현대 딥러닝에서 모델은 종종 과도한 자신감을 보이는 경향이 있으며, 이는 예측된 확률이 실제 statistical calibration 또는 정확도의 가능성을 정확히 반영하지 못한다는 것을 의미합니다. Temperature scaling은 softmax 함수를 적용하기 전에 네트워크의 원시 출력 점수(로짓)를 "temperature" (T)로 알려진 단일 학습된 스칼라 파라미터로 나누어 이를 해결합니다. 이 조정은 최종 image classification 결정을 변경하지 않으면서 확률을 부드럽게 만들어 모델의 confidence가 실제 정확도와 긴밀하게 일치하도록 보장합니다.

Temperature Scaling의 작동 원리#

표준 분류 네트워크에서 최종 레이어는 원시 로짓을 출력하며, 이는 크로스 엔트로피와 같은 loss functions으로 크게 최적화된 현대 deep learning 아키텍처에서 손실을 최소화하기 위해 이러한 로짓을 극단적인 값으로 밀어붙이는 경향이 있어 모델이 보정되지 않고 과도한 자신감을 갖게 되는 현상으로 이어집니다.

Temperature scaling은 softmax 방정식에 temperature 매개변수(T)를 도입합니다.

• T = 1일 때, softmax 함수는 정상적으로 작동합니다.
• T > 1일 때, logits가 축소되어 출력 분포가 완화되며, 결과적으로 최고점의 신뢰도를 낮추고 확률 질량을 모든 클래스에 걸쳐 더 균등하게 분배합니다.
• T < 1일 때, 분포는 더 날카로워지며 모델이 상위 예측값에 대해 더 높은 확신을 갖도록 유도합니다.

지정된 검증 세트에서 T를 최적화함으로써 엔지니어는 예상 보정 오차를 최소화합니다. 이 간단한 단일 파라미터 조정은 최소한의 연산 오버헤드가 필요하고 model weights의 원래 정확도를 유지하기 때문에 매우 선호됩니다.

Temperature Scaling과 Label Smoothing 비교#

overfitting과 과도한 자신감을 방지하는 것을 목표로 하지만 두 기법은 모델 수명 주의의 서로 다른 단계에서 작동합니다. Label smoothing은 학습 중에 적용됩니다. 이는 모델이 단일 클래스에 전체 확률을 할당하는 것을 방지하기 위해 정답 타겟을 변경합니다(예: 하드 라벨을 1.0에서 0.9로 변경). 대조적으로 temperature scaling 및 Focal Temperature Scaling과 같은 최신 변형은 학습이 완료된 후 적용되는 사후 보정 방법으로, 재학습을 요구하지 않고 완전히 학습된 모델의 출력 확률을 수정함을 의미합니다.

실제 애플리케이션 사례#

적절한 모델 보정은 다양한 산업 분야에서 안전성과 신뢰성을 위해 매우 중요합니다.

• Medical Diagnostics: 뇌 肿瘤 감지와 같은 작업에서 자신감이 과도한 오분류는 심각한 임상적 결과로 이어질 수 있습니다. Temperature scaling을 사용하면 predictive modeling 시스템이 신뢰할 수 있는 확률을 출력하도록 보장합니다. 스캔 예측이 스케일링 후에도 매우 불확실한 경우 시스템은 방사선 전문의의 수동 검토를 위해 이미지를 확실하게 플래그 지정할 수 있습니다. studies on calibrating clinical models에 대한 최근 연구는 제약이 많고 위험 부담이 큰 진단 환경에서 그 가치를 계속 강조하고 있습니다.
• Large Language Models (LLMs): LLM의 경우 OpenAI's temperature parameter에서 볼 수 있듯이 출력 확률성과 생성 다양성을 제어하기 위해 temperature scaling이 광범위하게 활용됩니다. 높은 temperature는 더 창의적이고 다양한 텍스트를 생성하는 반면 낮은 temperature는 결정론적이고 집중된 응답을 산출합니다. 연구가 발전함에 따라 인간 피드백으로부터의 강화 학습 후에 종종 발생하는 보정 저를 교정하기 위해 Adaptive Temperature Scaling (ATS) 같은 기법이 개발되고 있습니다.
• Autonomous Vehicles: 자율주행에서 object detection 시스템은 장애물이 보행자인지 그림자인지 즉시 판단해야 합니다. 이러한 비전 모델을 보정하면 모델의 실제 신뢰도가 임계 안전 임계값 아래로 떨어질 때 비상 제동과 같은 대체 메커니즘이 안정적으로 트리거됩니다.

코드 예시: Temperature Scaling 구현#

다음 스니펫은 PyTorch를 사용하여 Ultralytics YOLO26 classification 모델의 원시 로짓에 temperature 스칼라를 적용하는 방법을 보여줍니다.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

보정된 컴퓨터 비전 시스템을 원활하게 배포하고자 하는 팀을 위해 Ultralytics Platform은 experiment tracking 관리, 모델 미세 조정 및 실시간 inference latency 모니터링을 위한 강력한 도구를 제공합니다. 또한 현대 보정 기법에 대한 기초 지식은 temperature scaling을 산업 표준으로 대중화한 "On Calibration of Modern Neural Networks"와 같은 영향력 있는 연구로 거슬러 올라갈 수 있습니다. 추가적인 실제 구현을 위해 scikit-learn's probability calibration 프레임워크 또는 TensorFlow's uncertainty-aware models를 살펴보십시오.