Temperature Scaling

Il ridimensionamento della temperatura è un metodo di calibrazione post hoc che divide i logit di un classificatore addestrato per un unico numero positivo T prima della softmax; T viene scelto su dati non usati per l'addestramento, in modo che la confidenza del modello corrisponda alla frequenza con cui indovina davvero. Una temperatura superiore a 1 attenua le probabilità eccessivamente sicure, mentre una inferiore a 1 rende più nette quelle troppo incerte. Dividere tutti i logit per lo stesso numero positivo ne conserva l'ordine, quindi la classe prevista non cambia mai e l'accuratezza rimane esattamente la stessa. Nello studio «On Calibration of Modern Neural Networks», Guo e colleghi hanno rilevato che le moderne reti profonde sono calibrate male e che il ridimensionamento della temperatura, una variante di Platt scaling con un solo parametro, è sorprendentemente efficace nel calibrarle sulla maggior parte dei dataset esaminati.

Come funziona il temperature scaling#

La softmax scalata assegna alla classe i la probabilità exp(z_i / T) / Σ_j exp(z_j / T), dove z rappresenta i logit. Con T = 1 il modello resta invariato; all'aumentare di T, le probabilità si avvicinano a una distribuzione uniforme, mentre quando T tende a 0 la probabilità della classe principale tende a 1. T viene adattata dopo l'addestramento minimizzando la log-verosimiglianza negativa (NLL), la stessa entropia incrociata usata come funzione di perdita di addestramento, su un insieme di convalida tenuto da parte, mantenendo fissi i pesi della rete. Con un solo parametro, l'adattamento richiede pochi secondi e lascia poco margine all'overfitting dell'insieme di convalida. Lo script PyTorch qui sotto adatta T per un modello i cui logit sono tre volte troppo grandi:

import torch
import torch.nn.functional as F

# Held-out logits for 5,000 images and 10 classes from an overconfident model:
# labels are drawn so that softmax(logits / 3) is perfectly calibrated
torch.manual_seed(0)
logits = 9 * torch.randn(5000, 10)
labels = torch.multinomial(F.softmax(logits / 3, dim=1), 1).squeeze(1)

# Fit the single temperature that minimizes negative log-likelihood (NLL) on the held-out set
temperatures = torch.linspace(0.5, 6.0, 551)
nll = torch.stack([F.cross_entropy(logits / t, labels) for t in temperatures])
T = temperatures[nll.argmin()]

# Accuracy depends only on the argmax, which dividing by T never changes
accuracy = (logits.argmax(1) == labels).float().mean()
before = F.softmax(logits, dim=1).max(1).values.mean()
after = F.softmax(logits / T, dim=1).max(1).values.mean()
print(f"T = {T:.2f}, accuracy {accuracy:.3f}")
print(f"Mean confidence: {before:.3f} before, {after:.3f} after")

L'adattamento restituisce T = 2.98, vicino al fattore reale di 3. L'accuratezza rimane a 0,663, mentre la confidenza media scende da 0,880 a 0,664: dopo il ridimensionamento, la confidenza media del modello corrisponde alla sua accuratezza.

Perché le reti diventano troppo sicure#

L'addestramento con l'entropia incrociata continua a premiare logit più grandi per gli esempi di addestramento che la rete classifica già correttamente; la confidenza continua quindi ad aumentare anche dopo che l'accuratezza sui nuovi dati si è stabilizzata. Guo e colleghi hanno identificato profondità, larghezza, decadimento dei pesi e normalizzazione del batch come fattori importanti della cattiva calibrazione. La calibrazione viene misurata con diagrammi di affidabilità, che tracciano l'accuratezza rispetto alla confidenza in vari intervalli, e con l'errore di calibrazione atteso (ECE), cioè la differenza media tra confidenza e accuratezza in tali intervalli, ponderata in base al numero di previsioni che ricadono in ciascuno. Anche la NLL e il punteggio di Brier premiano la calibrazione. La calibrazione è importante ogni volta che un punteggio viene interpretato come probabilità, ad esempio per una regola di triage medico che indirizza a uno specialista tutti i casi con un rischio superiore al 30%, un sistema che delega a una persona le previsioni incerte o un ciclo di apprendimento attivo che seleziona per l'annotazione le immagini con la confidenza più bassa.

Ridimensionamento della temperatura per i rilevatori di oggetti#

I rilevatori assegnano in genere un punteggio a ciascuna classe con una sigmoide indipendente anziché con una softmax; il ridimensionamento della temperatura si applica allo stesso modo, come sigmoid(z / T). Con T superiore a 1, i punteggi si spostano verso 0,5: quelli alti diminuiscono e quelli bassi aumentano. In YOLO26, la confidenza di ogni box è la sigmoide del logit di una classe e viene confrontata con la soglia conf di 0.25 al momento della predizione; una temperatura adattata su immagini tenute da parte cambia quindi quali box superano tale soglia, mantenendo l'ordine di tutti i box, da cui dipendono metriche di ranking come la precisione media media (mAP).

Temperatura in altre impostazioni#

• Modelli linguistici di grandi dimensioni (LLMs): La temperatura di campionamento divide ogni vettore di logit del token successivo per T allo stesso modo e gli utenti la impostano manualmente per bilanciare diversità e determinismo. Quando T si avvicina a 0, il campionamento si avvicina alla decodifica greedy, che seleziona sempre il token più probabile.
• Distillazione della conoscenza: Il metodo di distillazione di Hinton e colleghi aumenta la temperatura degli output softmax sia del modello insegnante sia del modello studente, in modo che il modello studente apprenda le probabilità relative assegnate dal modello insegnante alle classi errate.
• Apprendimento contrastivo: Modelli come CLIP dividono i punteggi di similarità tra immagini e testo per una temperatura appresa prima della softmax, controllando quanto nettamente la funzione di perdita separa le coppie corrispondenti dalle altre.

Temperature scaling a confronto con metodi correlati#

• Platt scaling: Adatta una pendenza e un'intercetta al punteggio di un classificatore binario prima di applicare una sigmoide. Il temperature scaling estende il metodo a molte classi con un'unica pendenza condivisa, 1 / T, e senza intercetta.
• Vector scaling e matrix scaling: Apprendono un peso e un bias distinti per ogni classe, oppure una matrice completa sui logit. Sono più flessibili, tendono più facilmente all'overfitting e possono modificare la classe predetta.
• Regressione isotona: Una mappatura monotona non parametrica dal punteggio alla probabilità, disponibile insieme a Platt scaling negli strumenti di calibrazione di scikit-learn.
• Label smoothing: Attenua i target di training, ad esempio usando 0,9 invece di 1,0 per la classe corretta, per ridurre l'eccessiva sicurezza durante il training. Il temperature scaling modifica solo gli output di un modello già addestrato.
• Predizione conformale: Trasforma i punteggi in insiemi di predizioni che contengono l'etichetta corretta con una frequenza garantita, ad esempio nel 90% dei casi, su dati scambiabili.