Learning Rate

Il learning rate è una configurazione critica di hyperparameter tuning che determina la dimensione del passo compiuto da un modello durante il processo di ottimizzazione. Nel contesto dell'addestramento di una rete neurale, controlla quanto vengono aggiornati i pesi interni del modello in risposta all'errore stimato ogni volta che il modello elabora un batch di dati. Immaginalo come una persona che scende da una montagna verso una valle (il punto di errore più basso); il learning rate determina la lunghezza del suo passo. Se il passo è troppo grande, potrebbe superare completamente la valle e mancare il fondo. Se il passo è troppo piccolo, raggiungere la destinazione potrebbe richiedere un tempo impraticabilmente lungo.

Link to this sectionIl dilemma del "riccioli d'oro" nell'ottimizzazione#

Trovare il learning rate ottimale è spesso descritto come un atto di equilibrio nei flussi di lavoro di machine learning. L'obiettivo è minimizzare la loss function, che misura la differenza tra le previsioni del modello e l'effettiva ground truth. Questo processo si basa pesantemente su un optimization algorithm come lo stochastic gradient descent (SGD) o l' Adam optimizer per navigare nel panorama della loss.

• Learning rate troppo alto: Se il valore è impostato troppo in alto, gli aggiornamenti dei pesi del modello saranno drastici. Ciò può portare al fenomeno dell'"overshooting", in cui il modello non riesce a convergere su una soluzione e oscilla invece selvaggiamente o diverge. Questa instabilità può talvolta innescare un problema di exploding gradient, rendendo inutile il processo di addestramento.
• Learning rate troppo basso: Al contrario, una dimensione del passo estremamente piccola assicura che il modello si muova con attenzione verso il minimo, ma può portare a underfitting perché il processo di addestramento diventa dolorosamente lento. Il modello potrebbe rimanere bloccato in un minimo locale o richiedere migliaia di epochs aggiuntive per apprendere schemi semplici, sprecando risorse computazionali. I ricercatori consultano spesso la PyTorch documentation on optimization per comprendere come i diversi algoritmi interagiscono con questi valori.

Link to this sectionApplicazioni nel mondo reale#

The impact of learning rate adjustments is evident across various high-stakes industries where computer vision tasks are deployed.

1. Autonomous Driving Systems: In the development of autonomous vehicles, engineers utilize vast datasets to train models for object detection to identify pedestrians and traffic signs. When applying transfer learning to a pre-trained model like YOLO26, developers typically use a much smaller learning rate than they would during initial training. This "fine-tuning" ensures that the model learns the nuances of specific driving environments (e.g., snowy roads vs. desert highways) without erasing the general feature extraction capabilities it already possesses.

2. Imaging diagnostico medico: Nell'medical image analysis, come il rilevamento di tumori nelle scansioni MRI, la precisione è fondamentale. Un learning rate elevato qui crea il rischio che il modello salti sopra sottili differenze di texture che distinguono il tessuto maligno da quello benigno. I professionisti impiegano spesso una tecnica chiamata "learning rate warmup", aumentando gradualmente il rate da zero a un valore target per stabilizzare le prime fasi dell'addestramento, assicurando che i pesi della neural network si stabilizzino in una configurazione stabile prima che inizi l'apprendimento aggressivo. Puoi leggere di più su queste strategie nel Google Machine Learning Crash Course.

Link to this sectionDifferenziazione dei termini correlati#

È importante distinguere il learning rate da altri parametri di addestramento, poiché spesso sono configurati negli stessi file di configurazione ma servono a scopi diversi:

• Learning rate vs. Batch Size: Mentre il learning rate controlla la magnitudine dell'aggiornamento, la batch size determina il numero di campioni di addestramento elaborati prima che si verifichi un aggiornamento. Esiste una forte relazione tra i due; spesso, quando si aumenta la batch size, è necessario aumentare anche il learning rate per mantenere l'efficienza dell'addestramento, un concetto esplorato in articoli sul large-batch training.
• Learning rate vs. Decay: Il decay si riferisce a una strategia in cui il learning rate viene ridotto sistematicamente nel tempo. Uno scheduler potrebbe ridurre il rate di un fattore 10 ogni 30 epoche. Questo aiuta il modello a fare grandi salti concettuali all'inizio e poi a perfezionare la sua precisione con passi più piccoli verso la fine dell'addestramento. Questa è una funzionalità standard nel Ultralytics Python package.

Link to this sectionImpostazione del learning rate in Ultralytics YOLO#

Quando usi framework moderni, puoi facilmente regolare il learning rate iniziale (lr0) e la frazione del learning rate finale (lrf). Di seguito è riportato un esempio di come configurarlo utilizzando il client compatibile con la Ultralytics Platform per un'esecuzione di addestramento personalizzata.

from ultralytics import YOLO

# Load the YOLO26 model (latest state-of-the-art architecture)
model = YOLO("yolo26n.pt")

# Train the model with a custom initial learning rate
# lr0=0.01 sets the initial rate
# lrf=0.01 sets the final learning rate to (lr0 * lrf)
results = model.train(data="coco8.yaml", epochs=10, lr0=0.01, lrf=0.01)

Per utenti avanzati, tecniche come l'LR Finder (reso popolare da fast.ai) possono essenzialmente automatizzare la scoperta del miglior valore iniziale eseguendo una breve epoca di prova in cui il rate viene aumentato esponenzialmente fino a quando la loss non diverge. Padroneggiare questo iperparametro è spesso la chiave per sbloccare prestazioni SOTA (State-of-the-Art) nei tuoi progetti AI.