Temperature Scaling

La temperature scaling è una tecnica di post-elaborazione ampiamente utilizzata per calibrare le probabilità previste dai modelli di Artificial Intelligence (AI) e Machine Learning (ML). Nel deep learning moderno, i modelli mostrano spesso un'eccessiva sicurezza (overconfidence), il che significa che le probabilità previste non riflettono accuratamente la reale calibrazione statistica o la probabilità di correttezza. La temperature scaling risolve questo problema dividendo i punteggi grezzi (logit) della rete per un singolo parametro scalare appreso, noto come "temperatura" (T), prima di applicare la funzione softmax. Questa regolazione ammorbidisce le probabilità senza alterare la decisione finale di image classification, assicurando che la confidenza del modello si allinei strettamente alla sua precisione effettiva.

Link to this sectionCome funziona la Temperature Scaling#

In una rete di classificazione standard, l'ultimo layer emette logit grezzi, che vengono poi passati attraverso un'attivazione softmax per produrre probabilità che sommano a uno. Le moderne architetture di deep learning, specialmente quelle ottimizzate pesantemente con loss functions come la cross-entropy, tendono a spingere questi logit verso valori estremi per minimizzare la loss, portando a un fenomeno in cui il modello diventa mal calibrato e troppo sicuro di sé.

La temperature scaling introduce un parametro di temperatura (T) nell'equazione softmax.

• Quando T = 1, la funzione softmax si comporta normalmente.
• Quando T > 1, i logit vengono ridimensionati verso il basso, il che ammorbidisce la distribuzione dell'output, abbassando effettivamente la confidenza di picco e distribuendo la massa di probabilità in modo più uniforme tra tutte le classi.
• Quando T < 1, la distribuzione diventa più nitida, spingendo il modello a essere ancora più sicuro della sua previsione principale.

Ottimizzando T su un set di validazione designato, gli ingegneri minimizzano l'errore di calibrazione atteso. Questa regolazione semplice a singolo parametro è molto apprezzata perché richiede un sovraccarico computazionale minimo e preserva l'accuratezza originale dei model weights.

Link to this sectionTemperature Scaling vs. Label Smoothing#

Sebbene entrambe le tecniche mirino a prevenire l'overfitting e l'eccessiva sicurezza, operano in fasi diverse del ciclo di vita del modello. Il Label smoothing viene applicato durante l'addestramento. Modifica i target ground-truth (ad esempio, trasformando un'etichetta rigida da 1.0 a 0.9) per impedire al modello di assegnare la probabilità totale a una singola classe. Al contrario, la temperature scaling — e varianti più recenti come la Focal Temperature Scaling — sono metodi di calibrazione post-hoc applicati dopo che l'addestramento è completo, il che significa che modificano le probabilità di output di un modello completamente addestrato senza richiedere alcun riaddestramento.

Link to this sectionApplicazioni nel mondo reale#

Una corretta calibrazione del modello è fondamentale per la sicurezza e l'affidabilità in diversi settori:

• Medical Diagnostics: In compiti come il rilevamento di tumori cerebrali, una classificazione errata troppo sicura può portare a gravi conseguenze cliniche. L'uso della temperature scaling garantisce che il sistema di predictive modeling fornisca probabilità affidabili. Se una previsione di scansione è altamente incerta dopo la calibrazione, il sistema può segnalare con sicurezza l'immagine per una revisione manuale da parte di un radiologo. Recenti studi sulla calibrazione di modelli clinici continuano a sottolinearne il valore in ambienti diagnostici vincolati e ad alto rischio.
• Large Language Models (LLMs): Per gli LLM, la temperature scaling è ampiamente utilizzata per controllare la stocasticità dell'output e la diversità di generazione, come visto con il parametro di temperatura di OpenAI. Temperature elevate producono testi più creativi e vari, mentre temperature basse offrono risposte deterministiche e focalizzate. Con l'avanzare della ricerca, tecniche come l'Adaptive Temperature Scaling (ATS) vengono sviluppate per correggere il degrado della calibrazione che spesso si verifica dopo il reinforcement learning dal feedback umano.
• Autonomous Vehicles: Nella guida autonoma, i sistemi di object detection devono decidere istantaneamente se un ostacolo è un pedone o un'ombra. Calibrare questi modelli di visione garantisce che i meccanismi di fallback, come la frenata di emergenza, vengano attivati in modo affidabile quando la vera confidenza del modello scende sotto una soglia di sicurezza critica.

Link to this sectionEsempio di codice: Implementazione della Temperature Scaling#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Per i team che desiderano implementare sistemi di visione artificiale calibrati senza problemi, la Ultralytics Platform fornisce strumenti robusti per gestire l'experiment tracking, il fine-tuning dei modelli e il monitoraggio dell'inference latency in tempo reale. Inoltre, la conoscenza fondamentale sulle moderne tecniche di calibrazione può essere ricondotta a studi influenti come "On Calibration of Modern Neural Networks", che ha reso la temperature scaling uno standard del settore. Per ulteriori implementazioni pratiche, esplora i framework di calibrazione della probabilità di scikit-learn o i modelli uncertainty-aware di TensorFlow.