Licenza YOLO
Torna al glossario di Ultralytics

Huber Loss

La loss di Huber combina l'errore quadratico e quello assoluto per ridurre l'influenza degli outlier nella regressione, con una soglia delta regolabile e un'implementazione in Python.

La loss di Huber è una funzione di loss per la regressione che penalizza quadraticamente gli errori di previsione piccoli e linearmente quelli grandi. Fornisce ai modelli un obiettivo regolare vicino alla risposta corretta e riduce al contempo l'influenza degli errori insolitamente grandi. È quindi utile quando la maggior parte degli esempi di training segue uno schema coerente, ma alcuni presentano deviazioni estreme.

Peter J. Huber ha introdotto la funzione nel suo articolo del 1964 Stima robusta di un parametro di posizione. Rimane uno strumento fondamentale per la stima robusta: adattare un modello le cui previsioni siano meno sensibili agli outlier.

Come funziona la loss di Huber#

Un residuo è il valore previsto meno il valore target. La loss di Huber usa una soglia positiva chiamata delta per determinare il contributo del residuo all'obiettivo:

  • Residui piccoli: quando il valore assoluto del residuo è al massimo delta, la loss è pari alla metà del residuo al quadrato.
  • Residui grandi: oltre delta, la loss è delta x (valore assoluto del residuo - 0.5 x delta).

I due tratti si raccordano con lo stesso valore e la stessa pendenza. Durante la retropropagazione, la derivata rispetto alla previsione è uguale al residuo nella regione quadratica; al di fuori, il suo modulo è limitato a delta. Di conseguenza, residui sempre più grandi non generano gradienti della previsione sempre più grandi. La coda lineare limita la forza con cui un errore estremo sposta l'adattamento rispetto alle osservazioni rimanenti.

Scelta di delta e confronto tra loss#

L'errore quadratico medio (MSE) calcola la media dei residui al quadrato e attribuisce un peso elevato agli errori grandi. L'errore assoluto medio (MAE), detto anche loss L1 quando applicato elemento per elemento, usa sempre i residui assoluti e presenta un punto angoloso in zero. La loss di Huber combina un comportamento quadratico vicino allo zero con code lineari, fornendo un obiettivo continuamente derivabile per la discesa del gradiente.

Un delta maggiore estende la regione dell'errore quadratico. Un delta minore sposta più residui nella regione lineare, resistente agli outlier, e ne riduce la pendenza. Delta ha le stesse unità del residuo, quindi la normalizzazione del target ne cambia il significato. Per convertire i target da metri a centimetri, devi moltiplicare delta per 100 per mantenere la stessa transizione rispetto ai dati.

La scelta di delta è un problema di ottimizzazione degli iperparametri: si confrontano i valori candidati sui dati di validazione usando la metrica di regressione prevista. La loss di Huber è adatta alle previsioni di valori continui; la loss di entropia incrociata e la loss hinge si usano per gli obiettivi di classificazione.

Applicazioni nella regressione e nella visione artificiale#

Nella regressione lineare, le osservazioni estreme possono spostare l'adattamento basato sull'errore quadratico, allontanandolo dalla tendenza principale dei dati. Un adattamento con HuberRegressor su un dataset di regressione generato a cui sono stati aggiunti quattro outlier segue la tendenza principale più da vicino rispetto a un adattamento basato sull'errore quadratico influenzato da quelle osservazioni.

Per il rilevamento degli oggetti, Fast R-CNN di Ross Girshick usa la loss Smooth L1, equivalente alla loss di Huber con delta unitario, per la regressione dei riquadri di delimitazione. Le sue code lineari riducono la sensibilità agli errori estremi delle coordinate, che altrimenti produrrebbero gradienti elevati durante il training.

Ultralytics YOLO supporta criteri di training personalizzati tramite il metodo init_criterion() di un modello, che offre un punto di integrazione per obiettivi di regressione personalizzati basati sulla loss di Huber. Questa personalizzazione modifica il modo in cui gli errori di regressione contribuiscono agli aggiornamenti del modello.

La loss di Huber in Python#

PyTorch fornisce torch.nn.HuberLoss con delta e riduzione configurabili. Dopo aver installato torch con pip install torch, il calcolo seguente mostra il contributo di ciascun residuo:

import torch

predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)

# Mantieni le loss individuali per mostrare la coda lineare.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()

print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())

L'output è [0.125, 1.5, 9.5] rispetto a [0.25, 4.0, 100.0] e mostra la crescita ridotta della penalità per i residui grandi. Con reduction="mean", PyTorch calcola la media di tutte le loss elemento per elemento; "sum" le somma.

La loss pseudo-Huber approssima la forma della loss di Huber con una transizione regolare e derivate continue di ordine superiore. Smooth L1 usa una convenzione di scala diversa: in PyTorch, quando beta è uguale a delta, la loss di Huber è uguale alla loss Smooth L1 moltiplicata per delta; le due loss sono identiche quando entrambe le soglie sono uguali a 1.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning