Label Smoothing

La label smoothing è una tecnica di regolarizzazione ampiamente utilizzata nel machine learning per migliorare la generalizzazione del modello e prevenire l'overfitting. Quando addestri neural networks, l'obiettivo è solitamente quello di ridurre al minimo l'errore tra le previsioni e la ground truth. Tuttavia, se un modello diventa troppo sicuro delle proprie previsioni—assegnando una probabilità vicina al 100% a una singola classe—spesso inizia a memorizzare il rumore specifico nei training data invece di apprendere pattern robusti. Questo fenomeno, noto come overfitting, degrada le prestazioni su esempi nuovi e mai visti. La label smoothing risolve questo problema scoraggiando il modello dal fare previsioni con assoluta certezza, suggerendo essenzialmente alla rete che esiste sempre un piccolo margine di errore.

Link to this sectionLa meccanica dei target soft#

Per capire come funziona la label smoothing, è utile confrontarla con i target standard "hard". Nel supervised learning tradizionale, le etichette di classificazione sono solitamente rappresentate tramite one-hot encoding. Ad esempio, in un'attività che distingue tra gatti e cani, un'immagine di un "cane" avrebbe un vettore target di [0, 1]. Per corrispondere perfettamente a questo, il modello spinge i suoi punteggi interni, noti come logits, verso l'infinito, il che può portare a gradienti instabili e a un'incapacità di adattarsi.

La label smoothing sostituisce questi 1 e 0 rigidi con target "soft". Invece di una probabilità target di 1.0, alla classe corretta potrebbe essere assegnato 0.9, mentre la restante massa di probabilità (0.1) viene distribuita uniformemente tra le classi errate. Questo sottile cambiamento modifica l'obiettivo della loss function, come la cross-entropy, impedendo alla activation function (solitamente Softmax) di saturare. Il risultato è un modello che apprende cluster di classi più compatti nello spazio delle feature e produce una migliore model calibration, il che significa che le probabilità previste riflettono più accuratamente la vera probabilità di correttezza.

Link to this sectionApplicazioni nel mondo reale#

Questa tecnica è particolarmente critica in ambiti in cui l'ambiguità dei dati è intrinseca o i dataset sono soggetti a errori di etichettatura.

• Diagnosi medica: Nel campo dell'AI in healthcare, i dati clinici sono raramente in bianco e nero. Ad esempio, nell'medical image analysis, una scansione potrebbe mostrare caratteristiche altamente suggestive di una malattia ma non definitive. L'addestramento con etichette hard costringe il modello a ignorare questa incertezza. Applicando la label smoothing, il modello mantiene un grado di scetticismo, che è vitale per i sistemi di supporto alle decisioni in cui un'eccessiva sicurezza potrebbe portare a diagnosi errate.
• Classificazione di immagini su larga scala: Dataset pubblici massicci come ImageNet contengono spesso immagini etichettate erroneamente o immagini contenenti più oggetti validi. Se un modello tenta di adattarsi a questi esempi rumorosi con il 100% di confidence, apprende associazioni errate. La label smoothing funge da cuscinetto contro il rumore nelle etichette, garantendo che alcuni punti dati errati non alterino drasticamente i model weights finali.

Link to this sectionImplementazione della label smoothing con Ultralytics#

I moderni framework di deep learning semplificano l'applicazione di questa tecnica. Usando il pacchetto ultralytics, puoi integrare facilmente la label smoothing nella tua pipeline di addestramento per attività di image classification o rilevamento. Questo viene spesso fatto per ottenere prestazioni extra da modelli all'avanguardia come YOLO26.

Il seguente esempio mostra come addestrare un modello di classificazione con la label smoothing abilitata:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this sectionConfronto con concetti correlati#

È utile distinguere la label smoothing da altre strategie di regularization per capire quando utilizzarla.

• vs. Dropout: Un dropout layer disattiva casualmente i neuroni durante l'addestramento per costringere la rete ad apprendere rappresentazioni ridondanti. Sebbene entrambi prevengano l'overfitting, il dropout modifica l'architettura della rete in modo dinamico, mentre la label smoothing modifica l'obiettivo di ottimizzazione (le etichette stesse).
• vs. Knowledge Distillation: Entrambe le tecniche prevedono l'addestramento su target soft. Tuttavia, nella knowledge distillation, i target soft provengono da un modello "insegnante" e contengono informazioni apprese (ad esempio, "questo assomiglia al 10% a un gatto"). Al contrario, la label smoothing utilizza target soft "non informativi" derivati matematicamente (ad esempio, "assegna il 10% di probabilità a tutte le altre classi in modo uguale").
• vs. Data Augmentation: Le strategie per la data augmentation cambiano i dati di input (ruotando, ritagliando, colorando) per aumentare la varietà. La label smoothing cambia le aspettative di output. I flussi di lavoro di addestramento completi sulla Ultralytics Platform spesso combinano augmentation, dropout e label smoothing per ottenere la massima precisione.

Mitigando il problema del vanishing gradient negli ultimi strati e incoraggiando il modello ad apprendere feature più robuste, la label smoothing rimane un elemento fondamentale nelle moderne architetture di deep learning.