Discesa graduale

Il Gradient Descent è un algoritmo di ottimizzazione fondamentale alla base della maggior parte dei modelli di machine learning (ML) e deep learning. Il suo obiettivo principale è quello di minimizzare l'errore di un modello regolando iterativamente i suoi parametri interni. Immaginate di trovarvi su una montagna nebbiosa e di cercare di trovare il punto più basso. Ci si guarda intorno per vedere quale direzione scende più ripidamente e si fa un passo in quella direzione. Ripetendo questo processo, alla fine si raggiunge una valle. Nell'apprendimento automatico, la "montagna" è la funzione di perdita, la "direzione" è il gradiente negativo della funzione di perdita e la "dimensione del passo" è il tasso di apprendimento.

Come funziona la discesa dei gradienti

Il processo di addestramento di una rete neurale consiste nell'individuare l'insieme ottimale di pesi del modello che determinano l'errore, o la perdita, più bassa possibile. La discesa dei gradienti automatizza questa ricerca. Il processo inizia con il calcolo del gradiente, una misura della variazione della perdita rispetto a ciascun peso. Questo calcolo viene tipicamente eseguito con l'algoritmo di retropropagazione. I pesi vengono quindi aggiornati facendo un piccolo passo nella direzione opposta al gradiente, muovendosi di fatto "in discesa" sulla superficie di perdita. Questo processo iterativo continua per molte epoche fino a quando le prestazioni del modello convergono e la perdita viene minimizzata. La dimensione di ciascun passo è un fattore critico determinato dal tasso di apprendimento, un'impostazione chiave nella regolazione degli iperparametri. Una panoramica dettagliata di questo processo è disponibile in risorse come gli appunti del corso CS231n di Stanford.

Tipi di discesa del gradiente

Esistono tre varianti principali di Gradient Descent, ciascuna delle quali si differenzia per la quantità di dati utilizzati per calcolare il gradiente per ogni aggiornamento del peso:

• Batch Gradient Descent (BGD): Calcola il gradiente utilizzando l'intero set di dati di addestramento. Questo approccio fornisce un gradiente stabile e accurato, ma è molto costoso dal punto di vista computazionale e richiede molta memoria, il che lo rende poco pratico per dataset di grandi dimensioni come ImageNet.
• Stochastic Gradient Descent (SGD): Aggiorna i pesi dopo aver elaborato un solo campione di dati scelto a caso. È molto più veloce e meno dispendioso in termini di memoria rispetto a BGD, ma gli aggiornamenti sono rumorosi e portano a un percorso di convergenza più irregolare. Questa casualità può talvolta aiutare il modello a sfuggire ai minimi locali.
• Mini-Batch Gradient Descent: Raggiunge un equilibrio calcolando il gradiente su un piccolo sottoinsieme casuale (un "mini-batch") dei dati, in genere tra 32 e 256 campioni. È l'approccio più comunemente utilizzato nel deep learning moderno, perché combina l'efficienza di SGD con la stabilità di BGD. Framework come PyTorch e TensorFlow utilizzano questo metodo per impostazione predefinita nei loro ottimizzatori. Per un confronto approfondito, si veda questa panoramica sugli algoritmi di discesa del gradiente.

Discesa del gradiente e concetti correlati

È importante distinguere la discesa del gradiente da diversi termini correlati:

• Algoritmi di ottimizzazione: La discesa del gradiente è il concetto fondamentale di una famiglia di algoritmi di ottimizzazione. Gli ottimizzatori più avanzati, come l'ottimizzatore Adam o RMSprop, sono variazioni adattive che regolano il tasso di apprendimento per ogni parametro individualmente, spesso portando a una convergenza più rapida. Il documento originale di Adam è disponibile su arXiv.
• Retropropagazione: Backpropagation e Gradient Descent sono due processi distinti ma collegati. La retropropagazione è l'algoritmo che calcola in modo efficiente i gradienti della funzione di perdita rispetto ai pesi della rete. La discesa dei gradienti è l'algoritmo che utilizza questi gradienti per aggiornare i pesi.
• Funzione di perdita: La funzione di perdita definisce l'obiettivo che la Gradient Descent mira a minimizzare. La scelta della funzione di perdita (ad esempio, Cross-Entropy per la classificazione delle immagini) crea il paesaggio di errori specifico che l'ottimizzatore deve percorrere.

Applicazioni del mondo reale

La discesa graduale è il motore che alimenta l'addestramento di innumerevoli modelli di intelligenza artificiale.

1. Formazione dei modelli di rilevamento degli oggetti: Quando un modello Ultralytics YOLO viene addestrato per il rilevamento di oggetti su un set di dati su larga scala come COCO, la discesa del gradiente in mini-batch viene utilizzata in ogni iterazione. Il modello predice i riquadri di delimitazione, viene calcolata una perdita in base all'errore e la discesa del gradiente regola milioni di pesi nella struttura portante e nella testa del modello per migliorare la precisione. L'intero flusso di lavoro può essere gestito e scalato utilizzando piattaforme come Ultralytics HUB.
2. Formazione di modelli linguistici: Nell'elaborazione del linguaggio naturale (NLP), modelli come BERT vengono addestrati per compiti come l'analisi del sentiment. Il Gradient Descent minimizza una funzione di perdita che misura la differenza tra il sentiment previsto dal modello e l'etichetta vera, consentendo al modello di apprendere le sfumature del linguaggio umano da vasti corpora di testo. Il gruppo NLP di Stanford svolge un'ampia attività di ricerca in quest'area.

Sfide e considerazioni

Pur essendo potente, l'algoritmo di discesa del gradiente non è privo di difficoltà. L'algoritmo può bloccarsi in minimi locali - valli che non sono il punto più basso in assoluto sulla superficie di perdita. Nelle reti molto profonde, può anche soffrire del problema del gradiente che svanisce o del gradiente che esplode, quando il gradiente diventa troppo piccolo o troppo grande per aggiornare efficacemente i pesi. Un'attenta selezione del tasso di apprendimento, la scelta di un ottimizzatore robusto e tecniche come la normalizzazione dei lotti sono fondamentali per un addestramento di successo, come illustrato nella nostra guida ai suggerimenti per l'addestramento dei modelli.