Learning Rate

Il tasso di apprendimento è una configurazione critica di ottimizzazione degli iperparametri che determina la dimensione del passo che un modello compie durante il processo di ottimizzazione. Nel contesto dell'addestramento di una rete neurale, controlla quanto vengono aggiornati i pesi interni del modello in risposta all'errore stimato ogni volta che il modello elabora un batch di dati. Pensate a una persona che scende da una montagna verso una valle (il punto più basso dell' errore); il tasso di apprendimento determina la lunghezza del suo passo. Se il passo è troppo lungo, potrebbe scavalcare completamente la valle e non raggiungere il fondo. Se il passo è troppo piccolo, raggiungere la destinazione potrebbe richiedere un tempo eccessivamente lungo.

Il dilemma di "Goldilocks" nell'ottimizzazione

Trovare il tasso di apprendimento ottimale è spesso descritto come un atto di bilanciamento all'interno dei flussi di lavoro di apprendimento automatico. L'obiettivo è quello di ridurre al minimo la funzione di perdita, che misura la differenza tra le previsioni del modello e la verità di base effettiva. Questo processo si basa in larga misura su un algoritmo di ottimizzazione come la discesa stocastica del gradiente (SGD) o Adam per navigare nel panorama delle perdite .

• Tasso di apprendimento troppo elevato: se il valore è troppo alto, gli aggiornamenti dei pesi del modello saranno drastici. Ciò può portare al fenomeno di "overshooting", in cui il modello non riesce a convergere su una soluzione e oscilla invece in modo selvaggio o diverge. Questa instabilità può talvolta innescare un problema di gradiente esplosivo, rendendo inutile il processo di addestramento.
• Velocità di apprendimento troppo bassa: al contrario, un passo estremamente piccolo garantisce che il modello si muova con cautela verso il minimo, ma può portare a un underfitting perché il processo di addestramento diventa estremamente lento. Il modello potrebbe effettivamente rimanere bloccato in un minimo locale o impiegare migliaia di epoche in più per apprendere modelli semplici, con un conseguente spreco di risorse computazionali . I ricercatori consultano spesso la PyTorch sull'ottimizzazione per comprendere come i diversi algoritmi interagiscono con questi valori.

Applicazioni nel mondo reale

L'impatto degli adeguamenti del tasso di apprendimento è evidente in vari settori ad alto rischio in cui vengono implementate attività di visione artificiale.

1. Sistemi di guida autonoma: nello sviluppo dei veicoli autonomi, gli ingegneri utilizzano vasti set di dati per addestrare modelli di rilevamento degli oggetti al fine di identificare pedoni e segnali stradali. Quando si applica il transfer learning a un modello pre-addestrato come YOLO26, gli sviluppatori utilizzano in genere un tasso di apprendimento molto più basso rispetto a quello che utilizzerebbero durante l'addestramento iniziale. Questa "messa a punto" garantisce che il modello apprenda le sfumature di specifici ambienti di guida (ad esempio, strade innevate rispetto ad autostrade desertiche) senza cancellare le capacità generali di estrazione delle caratteristiche che già possiede.
2. Diagnostica medica per immagini: nell' analisi delle immagini mediche, come il rilevamento di tumori nelle scansioni MRI, la precisione è fondamentale. Un tasso di apprendimento elevato in questo caso crea il rischio che il modello trascuri le sottili differenze di struttura che distinguono il tessuto maligno da quello benigno. I professionisti spesso utilizzano una tecnica chiamata "riscaldamento del tasso di apprendimento", aumentando gradualmente il tasso da zero a un valore target per stabilizzare le prime fasi dell'addestramento, assicurando che i pesi della rete neurale si stabilizzino in una configurazione stabile prima che inizi l'apprendimento aggressivo. Puoi leggere ulteriori informazioni su queste strategie nel Corso intensivoGoogle learningGoogle .

Differenziare i termini correlati

È importante distinguere il tasso di apprendimento dagli altri parametri di addestramento, poiché spesso sono configurati negli stessi file di configurazione ma hanno scopi diversi:

• Velocità di apprendimento vs. dimensione del batch: mentre la velocità di apprendimento controlla l'entità dell' aggiornamento, la dimensione del batch determina il numero di campioni di addestramento elaborati prima che si verifichi un aggiornamento. Esiste una forte relazione tra i due; spesso, quando si aumenta la dimensione del batch, è necessario aumentare anche la velocità di apprendimento per mantenere l'efficienza dell'addestramento, un concetto approfondito in articoli sull'addestramento con batch di grandi dimensioni.
• Tasso di apprendimento vs. Decadimento: il decadimento si riferisce a una strategia in cui il tasso di apprendimento viene sistematicamente ridotto nel tempo. Uno scheduler potrebbe ridurre il tasso di un fattore 10 ogni 30 epoche. Questo aiuta il modello a compiere grandi salti concettuali all'inizio e poi a perfezionare la sua accuratezza con passi più piccoli verso la fine dell'addestramento. Questa è una caratteristica standard del Python Ultralytics .

Impostazione della velocità di apprendimento in Ultralytics YOLO

Quando si utilizzano framework moderni, è possibile regolare facilmente il tasso di apprendimento iniziale (lr0) e la frazione finale del tasso di apprendimento (lrf). Di seguito è riportato un esempio di come configurarlo utilizzando il Piattaforma Ultralytics client compatibile per un corso di formazione personalizzato.

from ultralytics import YOLO

# Load the YOLO26 model (latest state-of-the-art architecture)
model = YOLO("yolo26n.pt")

# Train the model with a custom initial learning rate
# lr0=0.01 sets the initial rate
# lrf=0.01 sets the final learning rate to (lr0 * lrf)
results = model.train(data="coco8.yaml", epochs=10, lr0=0.01, lrf=0.01)

Per gli utenti avanzati, tecniche come l' LR Finder (reso popolare da fast.ai) possono essenzialmente automatizzare la scoperta del miglior valore iniziale eseguendo un breve periodo di prova in cui il tasso viene aumentato in modo esponenziale fino a quando la perdita diverge. Padroneggiare questo iperparametro è spesso la chiave per sbloccare prestazioni SOTA (State-of-the-Art) nei vostri progetti di IA.