Temperature Scaling

Temperature scaling은 인공지능(AI) 및 머신러닝(ML) 모델의 예측 확률을 보정하기 위해 설계된 널리 사용되는 후처리 기법입니다. 현대 딥러닝에서 모델은 종종 과신(overconfidence)하는 경향을 보이는데, 이는 모델의 예측 확률이 실제 통계적 보정이나 정확도 가능성을 정확하게 반영하지 못함을 의미합니다. Temperature scaling은 softmax 함수를 적용하기 전에 네트워크의 원시 출력 점수(로짓)를 '온도'(T)라고 알려진 단일 학습 가능한 스칼라 매개변수로 나누어 이 문제를 해결합니다. 이 조정은 최종 이미지 분류 결정을 변경하지 않고 확률을 완화하여 모델의 신뢰도가 실제 정확도와 긴밀하게 일치하도록 보장합니다.

Link to this sectionTemperature scaling 작동 방식#

표준 분류 네트워크에서 최종 계층은 원시 로짓을 출력하며, 이는 softmax 활성화 함수를 통과하여 합이 1이 되는 확률을 생성합니다. 현대 딥러닝 아키텍처, 특히 크로스 엔트로피와 같은 손실 함수로 최적화된 모델은 손실을 최소화하기 위해 로짓을 극단적인 값으로 밀어내는 경향이 있으며, 이는 모델이 잘못 보정되고 과신하게 되는 현상으로 이어집니다.

Temperature scaling은 softmax 방정식에 온도 매개변수(T)를 도입합니다.

• T = 1일 때 softmax 함수는 정상적으로 작동합니다.
• T > 1일 때 로짓은 아래로 스케일링되어 출력 분포가 완화되며, 결과적으로 최고 신뢰도를 낮추고 모든 클래스에 걸쳐 확률 질량을 더 고르게 분산시킵니다.
• T < 1일 때 분포는 더 날카로워지며, 모델이 상위 예측에 대해 더욱 확신하도록 유도합니다.

지정된 검증 세트에서 T를 최적화함으로써 엔지니어는 예상 보정 오차를 최소화합니다. 이 간단한 단일 매개변수 조정은 최소한의 계산 오버헤드만 필요로 하며 모델 가중치의 원래 정확도를 유지하기 때문에 매우 선호됩니다.

Link to this sectionTemperature Scaling 대 Label Smoothing#

과적합과 과신을 방지한다는 점은 동일하지만, 두 기법은 모델 수명 주기의 서로 다른 단계에서 작동합니다. Label smoothing은 훈련 중에 적용됩니다. 이는 모델이 단일 클래스에 전체 확률을 할당하지 못하도록 실제 타겟(예: 하드 라벨을 1.0에서 0.9로 변경)을 변경합니다. 반면, temperature scaling 및 Focal Temperature Scaling과 같은 최신 변형들은 훈련이 완료된 후 적용되는 사후 보정 방식이므로 재훈련 없이 완전히 훈련된 모델의 출력 확률을 수정합니다.

Link to this section실제 적용 사례#

적절한 모델 보정은 다양한 산업 분야에서 안전과 신뢰성을 위해 매우 중요합니다:

• 의료 진단: 뇌종양 탐지와 같은 작업에서 과신에 의한 잘못된 분류는 심각한 임상적 결과를 초래할 수 있습니다. Temperature scaling을 사용하면 예측 모델링 시스템이 신뢰할 수 있는 확률을 출력하도록 보장할 수 있습니다. 스케일링 후에도 스캔 예측의 불확실성이 높다면, 시스템은 해당 이미지를 방사선 전문의가 수동으로 검토하도록 확실하게 표시할 수 있습니다. 임상 모델 보정에 관한 최근 연구들은 제약이 많고 위험도가 높은 진단 환경에서 이 기법의 가치를 지속적으로 강조하고 있습니다.
• 대규모 언어 모델(LLM): LLM의 경우, OpenAI의 온도 매개변수에서 볼 수 있듯이 출력의 확률성과 생성 다양성을 제어하기 위해 temperature scaling이 광범위하게 활용됩니다. 높은 온도는 더 창의적이고 다양한 텍스트를 생성하며, 낮은 온도는 결정론적이고 집중된 응답을 제공합니다. 연구가 발전함에 따라, Adaptive Temperature Scaling (ATS)와 같은 기법들이 인간 피드백을 통한 강화 학습 이후 자주 발생하는 보정 저하를 수정하기 위해 개발되고 있습니다.
• 자율주행 차량: 자율주행에서 객체 탐지 시스템은 장애물이 보행자인지 그림자인지 즉각적으로 판단해야 합니다. 이러한 비전 모델을 보정하면 모델의 실제 신뢰도가 임계 안전 수준 아래로 떨어질 때 비상 제동과 같은 폴백 메커니즘이 안정적으로 트리거되도록 보장합니다.

Link to this section코드 예제: Temperature Scaling 구현#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

보정된 컴퓨터 비전 시스템을 원활하게 배포하려는 팀을 위해 Ultralytics Platform은 실험 추적, 모델 미세 조정 및 실시간 추론 지연 시간 모니터링을 위한 강력한 도구를 제공합니다. 또한 현대 보정 기법에 대한 기초 지식은 temperature scaling을 업계 표준으로 대중화한 "On Calibration of Modern Neural Networks"와 같은 영향력 있는 연구들로 거슬러 올라갑니다. 추가적인 실무 구현을 위해서는 scikit-learn의 확률 보정 프레임워크나 TensorFlow의 불확실성 인식 모델을 살펴보십시오.