"Label Smoothing"

Il Label Smoothing è una tecnica di regolarizzazione utilizzata durante il training di modelli di machine learning, in particolare nelle attività di classificazione. Affronta il problema dell'eccessiva sicurezza del modello, impedendogli di assegnare la probabilità completa di 1.0 alla classe corretta. Invece di utilizzare etichette "hard" (dove la classe corretta è 1 e tutte le altre sono 0), il Label Smoothing crea etichette "soft", distribuendo una piccola porzione della massa di probabilità alle altre classi. Ciò incoraggia il modello a essere meno certo delle sue previsioni, il che può portare a una migliore generalizzazione e a prestazioni migliorate su dati non visti. La tecnica è stata utilizzata in modelli ad alte prestazioni ed è descritta in dettaglio in documenti come When Does Label Smoothing Help?.

Come funziona il Label Smoothing

In un tipico problema di classificazione di apprendimento supervisionato, i dati di training sono costituiti da input e dalle loro corrispondenti etichette corrette. Ad esempio, in un'attività di classificazione delle immagini, un'immagine di un gatto avrebbe l'etichetta "gatto" rappresentata come un vettore one-hot encoded come per le classi [gatto, cane, uccello]. Quando si calcola la funzione di loss, il modello viene penalizzato in base a quanto la sua previsione si discosta da questo target rigido.

Il Label Smoothing modifica questo target. Riduce leggermente la probabilità target per la classe corretta (ad esempio, a 0.9) e distribuisce la piccola probabilità rimanente (0.1 in questo caso) uniformemente tra le classi errate. Quindi, il nuovo target "soft" potrebbe apparire come [0.9, 0.05, 0.05]. Questa piccola modifica scoraggia il livello logit finale di una rete neurale dal produrre valori estremamente grandi per una classe, il che aiuta a prevenire l'overfitting. Questo processo può essere gestito durante il training del modello utilizzando piattaforme come Ultralytics HUB.

Vantaggi del Label Smoothing

Il vantaggio principale del Label Smoothing è che migliora la calibrazione del modello. I punteggi di confidenza previsti da un modello ben calibrato riflettono più accuratamente la vera probabilità di correttezza. Questo è fondamentale per le applicazioni in cui è importante comprendere la certezza del modello, come nell'analisi di immagini mediche. Prevenendo l'eccessiva sicurezza, migliora anche la capacità del modello di generalizzare a nuovi dati, un obiettivo chiave di qualsiasi progetto di machine learning. Ciò si traduce spesso in un leggero aumento dell'accuratezza. Una migliore generalizzazione porta a modelli più robusti per l'inferenza in tempo reale e la distribuzione finale del modello.

Applicazioni nel mondo reale

Il Label Smoothing è una tecnica semplice ma efficace applicata in vari modelli all'avanguardia.

1. Classificazione di immagini su larga scala: Modelli come Ultralytics YOLO addestrati per attività di classificazione di immagini su set di dati massicci come ImageNet spesso utilizzano Label Smoothing. Questi set di dati a volte possono contenere etichette rumorose o errate derivanti dal processo di etichettatura dei dati. Label Smoothing rende il modello più robusto a questo rumore nelle etichette, impedendogli di imparare a essere eccessivamente sicuro di etichette potenzialmente errate. Puoi esplorare una varietà di set di dati di classificazione per i tuoi progetti.
2. Elaborazione del linguaggio naturale (NLP): In attività come la traduzione automatica, possono esserci più traduzioni valide per una singola frase. Il Label Smoothing, utilizzato in modelli come il Transformer, scoraggia il modello dall'assegnare una probabilità di 1.0 a una singola parola corretta nel vocabolario, riconoscendo che anche altre parole potrebbero essere adatte. Questo concetto è fondamentale nella moderna NLP ed è discusso in risorse di istituzioni come lo Stanford NLP Group.

Label Smoothing vs. Concetti correlati

È importante distinguere il Label Smoothing da altre tecniche di regolarizzazione.

• Etichette rigide: Questo è l'approccio standard in cui il modello viene addestrato con certezza assoluta (100% per la classe corretta). L'attenuazione dell'etichetta è un'alternativa diretta a questo.
• Aumento dei dati: Questa è un'altra tecnica di regolarizzazione che crea nuovi esempi di addestramento applicando trasformazioni ai dati esistenti. Aumenta la diversità del set di dati, mentre Label Smoothing modifica i valori target stessi. Puoi trovare guide per l'aumento dei dati YOLO all'interno della documentazione di Ultralytics.
• Dropout: Questo metodo disattiva casualmente una frazione di neuroni durante ogni fase di training per prevenire co-adattamenti complessi. Modifica l'architettura del modello durante il training, mentre lo smoothing delle etichette modifica il calcolo della loss. Un approfondimento sul dropout è disponibile in un articolo di GeeksforGeeks sull'argomento.
• Knowledge Distillation: In questa tecnica, un modello "studente" più piccolo viene addestrato utilizzando le etichette soft prodotte da un modello "insegnante" più grande e pre-addestrato. Pur utilizzando anche etichette soft, la fonte di queste etichette sono le previsioni di un altro modello, non una semplice euristica applicata alle etichette ground truth come in Label Smoothing. Il documento originale Distilling the Knowledge in a Neural Network fornisce una comprensione fondamentale di questo concetto.