Temperature Scaling

La scala della temperatura è una tecnica di post-elaborazione ampiamente utilizzata, progettata per calibrare le probabilità predette dei modelli di Intelligenza Artificiale (AI) e Apprendimento Automatico (ML). Nel deep learning moderno, i modelli mostrano spesso un eccesso di confidenza, il che significa che le loro probabilità predette non riflettono accuratamente la vera calibrazione statistica o la probabilità di correttezza. La scala della temperatura risolve questo problema dividendo i punteggi di output grezzi della rete (logit) per un singolo parametro scalare appreso noto come "temperatura" (T) prima di applicare la funzione softmax. Questa regolazione attenua le probabilità senza alterare la decisione finale di classificazione delle immagini, garantendo che la confidenza di un modello si allinei strettamente con la sua effettiva accuratezza.

Come funziona la Temperature Scaling#

In una rete di classificazione standard, l'ultimo strato emette logit grezzi, che vengono poi fatti passare attraverso un'attivazione softmax per produrre probabilità che sommano a uno. Le moderne architetture di deep learning, specialmente quelle pesantemente ottimizzate con funzioni di perdita come l'entropia incrociata, tendono a spingere questi logit verso valori estremi per ridurre al minimo la perdita, portando a un fenomeno in cui il modello diventa discalibrato ed eccessivamente sicuro di sé.

La temperature scaling introduce un parametro di temperatura (T) nell'equazione softmax.

• Quando T = 1, la funzione softmax si comporta normalmente.
• Quando T > 1, i logit vengono ridimensionati verso il basso, il che ammorbidisce la distribuzione dell'output, abbassando efficacemente il picco di confidenza e distribuendo la massa di probabilità in modo più uniforme tra tutte le classi.
• Quando T < 1, la distribuzione diventa più netta, spingendo il modello a essere ancora più sicuro della sua predizione principale.

Ottimizzando T su un set di convalida designato, gli ingegneri riducono al minimo l'errore di calibrazione atteso. Questa regolazione semplice a parametro singolo è altamente favorita perché richiede un overhead computazionale minimo e preserva l'accuratezza originale dei pesi del modello.

Temperature Scaling vs. Label Smoothing#

Sebbene entrambe le tecniche mirino a prevenire l'overfitting e l'eccesso di confidenza, operano in fasi diverse del ciclo di vita del modello. Lo smoothing delle etichette viene applicato durante l'addestramento. Esso altera gli obiettivi di verità di terra (ad esempio, cambiando un'etichetta rigida da 1.0 a 0.9) per evitare che il modello assegni piena probabilità a una singola classe. Al contrario, la scala della temperatura — e varianti più recenti come la Focal Temperature Scaling — sono metodi di calibrazione post-hoc applicati dopo che l'addestramento è completato, il che significa che modificano le probabilità di output di un modello completamente addestrato senza richiedere alcun riaddestramento.

Applicazioni nel mondo reale#

Una corretta calibrazione del modello è fondamentale per la sicurezza e l'affidabilità in diversi settori:

• Diagnostica Medica: In attività come il rilevamento dei tumori cerebrali, una errata classificazione eccessivamente sicura può portare a gravi conseguenze cliniche. L'uso della scala della temperatura garantisce che il sistema di modellazione predittiva emetta probabilità affidabili. Se una previsione di scansione è altamente incerta dopo la scalatura, il sistema può contrassegnare con sicurezza l'immagine per la revisione manuale da parte di un radiologo. Recenti studi sulla calibrazione dei modelli clinici continuano a evidenziare il suo valore in ambienti diagnostici vincolati e ad alto rischio.
• Modelli Linguistici di Grandi Dimensioni (LLM): Per gli LLM, la scala della temperatura è ampiamente utilizzata per controllare la stocasticità dell'output e la diversità di generazione, come visto con il parametro della temperatura di OpenAI. Le temperature alte producono testo più creativo e vario, mentre le temperature basse producono risposte deterministiche e mirate. Con il progredire della ricerca, vengono sviluppate tecniche come l'Adaptive Temperature Scaling (ATS) per correggere il degrado della calibrazione che si verifica spesso dopo l'apprendimento per rinforzo da feedback umano.
• Veicoli Autonomi: Nella guida autonoma, i sistemi di rilevamento degli oggetti devono decidere istantaneamente se un ostacolo è un pedone o un'ombra. Calibrare questi modelli di visione garantisce che i meccanismi di fallback, come la frenata di emergenza, vengano attivati in modo affidabile quando la vera confidenza del modello scende al di sotto di una soglia di sicurezza critica.

Esempio di codice: Implementazione della Temperature Scaling#

Il seguente frammento dimostra come applicare uno scalare di temperatura ai logit grezzi di un modello di classificazione Ultralytics YOLO26 utilizzando PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Per i team che desiderano distribuire sistemi di visione artificiale calibrati senza problemi, la Ultralytics Platform fornisce strumenti robusti per la gestione del tracciamento degli esperimenti, la messa a punto dei modelli e il monitoraggio della latenza di inferenza in tempo reale. Inoltre, le conoscenze fondamentali sulle tecniche di calibrazione moderne possono essere fatte risalire a studi influenti come "On Calibration of Modern Neural Networks", che ha reso popolare la scala della temperatura come standard industriale. Per ulteriori implementazioni pratiche, esplora i framework di calibrazione delle probabilità di scikit-learn o i modelli consapevoli dell'incertezza di TensorFlow.