Huber Loss
La loss di Huber combina l'errore quadratico e quello assoluto per ridurre l'influenza degli outlier nella regressione, con una soglia delta regolabile e un'implementazione in Python.
La loss di Huber è una funzione di loss per la regressione che penalizza quadraticamente gli errori di previsione piccoli e linearmente quelli grandi. Fornisce ai modelli un obiettivo regolare vicino alla risposta corretta e riduce al contempo l'influenza degli errori insolitamente grandi. È quindi utile quando la maggior parte degli esempi di training segue uno schema coerente, ma alcuni presentano deviazioni estreme.
Peter J. Huber ha introdotto la funzione nel suo articolo del 1964 Stima robusta di un parametro di posizione. Rimane uno strumento fondamentale per la stima robusta: adattare un modello le cui previsioni siano meno sensibili agli outlier.
Come funziona la loss di Huber#
Un residuo è il valore previsto meno il valore target. La loss di Huber usa una soglia positiva chiamata delta per determinare il contributo del residuo all'obiettivo:
- Residui piccoli: quando il valore assoluto del residuo è al massimo delta, la loss è pari alla metà del residuo al quadrato.
- Residui grandi: oltre delta, la loss è delta x (valore assoluto del residuo - 0.5 x delta).
I due tratti si raccordano con lo stesso valore e la stessa pendenza. Durante la retropropagazione, la derivata rispetto alla previsione è uguale al residuo nella regione quadratica; al di fuori, il suo modulo è limitato a delta. Di conseguenza, residui sempre più grandi non generano gradienti della previsione sempre più grandi. La coda lineare limita la forza con cui un errore estremo sposta l'adattamento rispetto alle osservazioni rimanenti.
Scelta di delta e confronto tra loss#
L'errore quadratico medio (MSE) calcola la media dei residui al quadrato e attribuisce un peso elevato agli errori grandi. L'errore assoluto medio (MAE), detto anche loss L1 quando applicato elemento per elemento, usa sempre i residui assoluti e presenta un punto angoloso in zero. La loss di Huber combina un comportamento quadratico vicino allo zero con code lineari, fornendo un obiettivo continuamente derivabile per la discesa del gradiente.
Un delta maggiore estende la regione dell'errore quadratico. Un delta minore sposta più residui nella regione lineare, resistente agli outlier, e ne riduce la pendenza. Delta ha le stesse unità del residuo, quindi la normalizzazione del target ne cambia il significato. Per convertire i target da metri a centimetri, devi moltiplicare delta per 100 per mantenere la stessa transizione rispetto ai dati.
La scelta di delta è un problema di ottimizzazione degli iperparametri: si confrontano i valori candidati sui dati di validazione usando la metrica di regressione prevista. La loss di Huber è adatta alle previsioni di valori continui; la loss di entropia incrociata e la loss hinge si usano per gli obiettivi di classificazione.
Applicazioni nella regressione e nella visione artificiale#
Nella regressione lineare, le osservazioni estreme possono spostare l'adattamento basato sull'errore quadratico, allontanandolo dalla tendenza principale dei dati. Un adattamento con HuberRegressor su un dataset di regressione generato a cui sono stati aggiunti quattro outlier segue la tendenza principale più da vicino rispetto a un adattamento basato sull'errore quadratico influenzato da quelle osservazioni.
Per il rilevamento degli oggetti, Fast R-CNN di Ross Girshick usa la loss Smooth L1, equivalente alla loss di Huber con delta unitario, per la regressione dei riquadri di delimitazione. Le sue code lineari riducono la sensibilità agli errori estremi delle coordinate, che altrimenti produrrebbero gradienti elevati durante il training.
Ultralytics YOLO supporta criteri di training personalizzati tramite il metodo init_criterion() di un modello, che offre un punto di integrazione per obiettivi di regressione personalizzati basati sulla loss di Huber. Questa personalizzazione modifica il modo in cui gli errori di regressione contribuiscono agli aggiornamenti del modello.
La loss di Huber in Python#
PyTorch fornisce torch.nn.HuberLoss con delta e riduzione configurabili. Dopo aver installato torch con pip install torch, il calcolo seguente mostra il contributo di ciascun residuo:
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# Mantieni le loss individuali per mostrare la coda lineare.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())L'output è [0.125, 1.5, 9.5] rispetto a [0.25, 4.0, 100.0] e mostra la crescita ridotta della penalità per i residui grandi. Con reduction="mean", PyTorch calcola la media di tutte le loss elemento per elemento; "sum" le somma.
La loss pseudo-Huber approssima la forma della loss di Huber con una transizione regolare e derivate continue di ordine superiore. Smooth L1 usa una convenzione di scala diversa: in PyTorch, quando beta è uguale a delta, la loss di Huber è uguale alla loss Smooth L1 moltiplicata per delta; le due loss sono identiche quando entrambe le soglie sono uguali a 1.










