Levigazione dell'etichetta

Il Label Smoothing è una tecnica di regolarizzazione utilizzata durante l'addestramento dei modelli di apprendimento automatico, in particolare nei compiti di classificazione. Risolve il problema dell'eccesso di fiducia del modello, impedendo al modello di assegnare la piena probabilità di 1,0 alla classe corretta. Invece di usare etichette "dure" (dove la classe corretta è 1 e tutte le altre sono 0), Label Smoothing crea etichette "morbide", distribuendo una piccola parte della massa di probabilità alle altre classi. Questo incoraggia il modello a essere meno sicuro delle sue previsioni, il che può portare a una migliore generalizzazione e a prestazioni migliori su dati non visti. Questa tecnica è stata utilizzata in particolare nei modelli ad alte prestazioni ed è descritta in dettaglio in documenti come When Does Label Smoothing Help?

Come funziona la levigatura delle etichette

In un tipico problema di classificazione con apprendimento supervisionato, i dati di addestramento sono costituiti da input e dalle corrispondenti etichette corrette. Ad esempio, in un compito di classificazione di immagini, l'immagine di un gatto avrebbe l'etichetta "gatto" rappresentata come un vettore codificato a un solo colpo come per le classi [gatto, cane, uccello]. Quando si calcola la funzione di perdita, il modello viene penalizzato in base a quanto la sua previsione si allontana da questo obiettivo difficile.

Il Label Smoothing modifica questo obiettivo. Riduce leggermente la probabilità della classe corretta (ad esempio, a 0,9) e distribuisce la piccola probabilità rimanente (0,1 in questo caso) in modo uniforme tra le classi errate. Quindi, il nuovo obiettivo "morbido" potrebbe assomigliare a [0,9, 0,05, 0,05]. Questa piccola modifica scoraggia il livello logit finale di una rete neurale dal produrre valori estremamente grandi per una classe, contribuendo così a prevenire l'overfitting. Questo processo può essere gestito durante l'addestramento del modello utilizzando piattaforme come Ultralytics HUB.

Vantaggi della levigatura delle etichette

Il vantaggio principale del Label Smoothing è che migliora la calibrazione del modello. I punteggi di confidenza previsti da un modello ben calibrato riflettono più accuratamente la reale probabilità di correttezza. Questo è fondamentale per le applicazioni in cui è importante capire la certezza del modello, come ad esempio nell'analisi delle immagini mediche. Impedendo l'eccesso di fiducia, migliora anche la capacità del modello di generalizzarsi a nuovi dati, un obiettivo fondamentale di qualsiasi progetto di apprendimento automatico. Questo spesso si traduce in un leggero aumento dell'accuratezza. Una migliore generalizzazione porta a modelli più robusti per l'inferenza in tempo reale e la distribuzione finale del modello.

Applicazioni del mondo reale

Il Label Smoothing è una tecnica semplice ma efficace applicata in diversi modelli all'avanguardia.

1. Classificazione di immagini su larga scala: I modelli come Ultralytics YOLO, addestrati per compiti di classificazione delle immagini su dataset di grandi dimensioni come ImageNet, utilizzano spesso il Label Smoothing. Questi dataset possono talvolta contenere etichette rumorose o errate derivanti dal processo di etichettatura dei dati. Il Label Smoothing rende il modello più robusto al rumore delle etichette, impedendogli di imparare a fidarsi eccessivamente di etichette potenzialmente errate. Per i vostri progetti potete esplorare una serie di set di dati di classificazione.
2. Elaborazione del linguaggio naturale (NLP): in compiti come la traduzione automatica, possono esistere più traduzioni valide per una singola frase. Il Label Smoothing, utilizzato in modelli come il Transformer, scoraggia il modello dall'assegnare una probabilità di 1,0 a una singola parola corretta nel vocabolario, riconoscendo che anche altre parole potrebbero essere adatte. Questo concetto è fondamentale nella PNL moderna ed è discusso in risorse di istituzioni come lo Stanford NLP Group.

Lisciatura delle etichette e concetti correlati

È importante differenziare il Label Smoothing da altre tecniche di regolarizzazione.

• Etichette difficili: Questo è l'approccio standard in cui il modello viene addestrato con certezza assoluta (100% per la classe corretta). Il Label Smoothing è un'alternativa diretta a questo approccio.
• Aumento dei dati: È un'altra tecnica di regolarizzazione che crea nuovi esempi di addestramento applicando trasformazioni ai dati esistenti. Aumenta la diversità del set di dati, mentre Label Smoothing modifica i valori target stessi. Le guide per l'incremento dei dati YOLO sono disponibili nella documentazione di Ultralytics.
• Dropout: Questo metodo disattiva in modo casuale una frazione di neuroni durante ogni fase di addestramento per evitare complessi coadattamenti. Modifica l'architettura del modello durante l'addestramento, mentre Label Smoothing modifica il calcolo delle perdite. Un approfondimento sul dropout si trova in un articolo di GeeksforGeeks sull'argomento.
• Distillazione della conoscenza: In questa tecnica, un modello "studente" più piccolo viene addestrato utilizzando le etichette morbide prodotte da un modello "insegnante" più grande e pre-addestrato. Anche se utilizza etichette morbide, la fonte di queste etichette sono le previsioni di un altro modello e non una semplice euristica applicata alle etichette di verità a terra come nel Label Smoothing. L'articolo originale Distilling the Knowledge in a Neural Network fornisce una comprensione fondamentale di questo concetto.