Temperature Scaling

La temperature scaling è una tecnica di post-elaborazione ampiamente utilizzata, progettata per calibrare le probabilità predette dei modelli di Artificial Intelligence (AI) e Machine Learning (ML). Nel deep learning moderno, i modelli mostrano spesso un eccesso di confidenza, il che significa che le loro probabilità predette non riflettono accuratamente la vera calibrazione statistica o la verosimiglianza di correttezza. La temperature scaling risolve questo problema dividendo i punteggi grezzi di output della rete (i logit) per un singolo parametro scalare appreso, noto come "temperatura" (T), prima di applicare la funzione softmax. Questo aggiustamento ammorbidisce le probabilità senza alterare la decisione finale di image classification, assicurando che la confidenza di un modello si allinei strettamente alla sua accuratezza reale.

Link to this sectionCome funziona la Temperature Scaling#

In una rete di classificazione standard, lo strato finale emette dei logit grezzi, che vengono poi passati attraverso un'attivazione softmax per produrre probabilità la cui somma è pari a uno. Le moderne architetture di deep learning, specialmente quelle ottimizzate pesantemente con loss functions come la cross-entropy, tendono a spingere questi logit verso valori estremi per minimizzare la perdita, portando a un fenomeno in cui il modello diventa mal calibrato ed eccessivamente sicuro di sé.

La temperature scaling introduce un parametro di temperatura (T) nell'equazione softmax.

• Quando T = 1, la funzione softmax si comporta normalmente.
• Quando T > 1, i logit vengono ridimensionati verso il basso, il che ammorbidisce la distribuzione dell'output, abbassando efficacemente il picco di confidenza e distribuendo la massa di probabilità in modo più uniforme tra tutte le classi.
• Quando T < 1, la distribuzione diventa più netta, spingendo il modello a essere ancora più sicuro della sua predizione principale.

Ottimizzando T su un set di validazione designato, gli ingegneri minimizzano l'errore di calibrazione atteso. Questo semplice aggiustamento a parametro singolo è altamente preferito perché richiede un overhead computazionale minimo e preserva l'accuratezza originale dei model weights.

Link to this sectionTemperature Scaling vs. Label Smoothing#

Sebbene entrambe le tecniche mirino a prevenire l'overfitting e l'eccessiva confidenza, operano in fasi diverse del ciclo di vita del modello. Il label smoothing viene applicato durante l'addestramento. Modifica i target di verità (ground-truth) (ad esempio, cambiando un'etichetta rigida da 1.0 a 0.9) per impedire al modello di assegnare la piena probabilità a una singola classe. Al contrario, la temperature scaling — e varianti più recenti come la Focal Temperature Scaling — sono metodi di calibrazione post-hoc applicati dopo che l'addestramento è completato, il che significa che modificano le probabilità di output di un modello completamente addestrato senza richiedere alcun riaddestramento.

Link to this sectionApplicazioni nel mondo reale#

Una corretta calibrazione del modello è fondamentale per la sicurezza e l'affidabilità in diversi settori:

• Diagnostica medica: In attività come la rilevazione di tumori cerebrali, una classificazione errata troppo sicura può portare a gravi conseguenze cliniche. L'uso della temperature scaling garantisce che il sistema di modellazione predittiva produca probabilità affidabili. Se una previsione basata su scansione è altamente incerta dopo il ridimensionamento, il sistema può contrassegnare con sicurezza l'immagine per una revisione manuale da parte di un radiologo. Recenti studi sulla calibrazione di modelli clinici continuano a sottolinearne il valore in ambienti diagnostici vincolati e ad alto rischio.
• Large Language Models (LLMs): Per gli LLM, la temperature scaling è ampiamente utilizzata per controllare la stocasticità dell'output e la diversità di generazione, come si vede con il parametro di temperatura di OpenAI. Temperature elevate producono testi più creativi e variegati, mentre temperature basse generano risposte deterministiche e mirate. Con il progredire della ricerca, vengono sviluppate tecniche come l'Adaptive Temperature Scaling (ATS) per correggere il degrado della calibrazione che si verifica spesso dopo l'apprendimento per rinforzo basato sul feedback umano.
• Autonomous Vehicles: Nella guida autonoma, i sistemi di object detection devono decidere istantaneamente se un ostacolo è un pedone o un'ombra. Calibrare questi modelli di visione garantisce che i meccanismi di emergenza, come la frenata assistita, vengano attivati in modo affidabile quando la vera confidenza del modello scende al di sotto di una soglia di sicurezza critica.

Link to this sectionEsempio di codice: Implementazione della Temperature Scaling#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Per i team che cercano di distribuire sistemi di computer vision calibrati senza problemi, Ultralytics Platform fornisce strumenti robusti per gestire l'experiment tracking, il fine-tuning dei modelli e il monitoraggio in tempo reale dell'inference latency. Inoltre, le conoscenze fondamentali sulle moderne tecniche di calibrazione possono essere ricondotte a studi influenti come "On Calibration of Modern Neural Networks", che ha reso la temperature scaling uno standard del settore. Per ulteriori implementazioni pratiche, esplora i framework di calibrazione della probabilità di scikit-learn o i modelli consapevoli dell'incertezza di TensorFlow.