Learning Rate

Il tasso di apprendimento è un parametro configurabile utilizzato nell'addestramento dellereti neurali che che controlla quanto modificare il modello in risposta all'errore stimato ogni volta che si aggiornanoi pesi del modello. del modello ogni volta che vengono aggiornati i pesi. In sostanza, determina la dimensione del passo a ogni iterazione, mentre si muove verso un minimo dellafunzione di perdita. Se si immagina il processo di addestramento come se si stesse scendendo da una montagna nebbiosa per raggiungere una valle (lo stato ottimale), il tasso di apprendimento determina la durata di ogni percorso. tasso di apprendimento determina la lunghezza di ogni passo che si compie. È una delle impostazioni più critiche da mettere a punto, in quanto influenza direttamente la velocità di convergenza. influisce direttamente sulla velocità di convergenza e sulla capacità del modello di trovare una soluzione ottimale.

L'impatto del tasso di apprendimento sulla formazione

La scelta del tasso di apprendimento corretto è spesso un atto di equilibrio. Il valore scelto influisce in modo significativo sulla dinamica dell'addestramento:

• Troppo alto: se il tasso di apprendimento è impostato troppo alto, il modello potrebbe compiere passi troppo grandi, di apprendimento, superando continuamente i pesi ottimali. Questo può portare a un addestramento instabile, in cui la perdita oscilla o addirittura diverge (aumenta), impedendo al modello di convergere. diverge (aumenta), impedendo al modello di convergere.
• Troppo basso: al contrario, un tasso di apprendimento troppo basso produce aggiornamenti estremamente ridotti. Se da un lato questo garantisce che il modello non manchi il minimo, rende ilprocessodi addestramento processo di addestramento dolorosamente lento. Inoltre, aumenta il rischio di rimanere bloccati in minimi locali, valli subottimali nel paesaggio delle perdite, portando a un che conducono a un adattamento insufficiente.

La maggior parte dei moderni flussi di lavoro per l'addestramento utilizzaprogrammatori del tasso di apprendimento, che regolano dinamicamente il tasso durante l'addestramento. Una strategia comune prevede periodi di "riscaldamento" in cui la velocità di riscaldamento", in cui il tasso inizia basso e aumenta, seguiti da fasi di "decadimento", in cui si riduce gradualmente per consentire di aggiustamento dei pesi a grana fine, man mano che il modello si avvicina alla convergenza.

Impostazione del tasso di apprendimento in Ultralytics

Nel framework Ultralytics è possibile configurare facilmente il tasso di apprendimento iniziale (lr0) e il tasso di tasso di apprendimento (lrf) come argomenti quando si addestra un modello. Questa flessibilità consente di sperimentare valori diversi per adattarsi a un set di dati specifico.

from ultralytics import YOLO

# Load the recommended YOLO11 model
model = YOLO("yolo11n.pt")

# Train on COCO8 with a custom initial learning rate
# 'lr0' sets the initial learning rate (default is usually 0.01)
results = model.train(data="coco8.yaml", epochs=100, lr0=0.01)

Applicazioni nel mondo reale

La scelta del tasso di apprendimento è fondamentale per l'implementazione di solide soluzioni di IA in tutti i settori:

1. Analisi delle immagini mediche:in campi ad alto rischio, come l'AInel settore sanitario, i modelli vengono addestrati per detect anomalie come i tumori nelle scansioni MRI. In questo caso, un tasso di apprendimento attentamente regolato è essenziale per per garantire che il modello apprenda modelli complessi senza adattarsi eccessivamente al rumore. Ad esempio, quando si addestra un modelloYOLO11 per il rilevamento dei tumori, i ricercatori spesso utilizzano un tasso di apprendimento più basso con uno scheduler per massimizzare l'accuratezzae l'affidabilità, come documentato in vari studi di radiologia. e l'affidabilità, come documentato in diversistudi di radiologia.
2. Veicoli autonomi:per rilevamento degli oggetti nelle auto a guida autonoma, i modelli devono riconoscere pedoni, cartelli e altri veicoli in ambienti diversi. L'addestramento su serie di dati enormi, come ilset di dati apertidi Waymo richiede un tasso di apprendimento ottimizzato per gestire la grande variabilità dei dati. Un tasso di apprendimento adattivo aiuta il modello a convergere più velocemente durante le fasi iniziali e a perfezionare le sue previsionidi nelle fasi successive, contribuendo a rendere più sicura l'AInei sistemi automobilistici. nei sistemi automobilistici.

Learning Rate vs. Concetti Correlati

Per sintonizzare efficacemente un modello, è utile distinguere il tasso di apprendimento dai termini correlati:

• Dimensione del lotto: Mentre il tasso di apprendimento controlla la dimensione del passo, la dimensione del batch determina il numero di campioni di dati utilizzati per calcolare il gradiente per quel passo. per calcolare il gradiente per quel passo. Spesso c'è una relazione tra le due cose: lotti più grandi forniscono gradienti più stabili, consentendo tassi di apprendimento più elevati. gradienti più stabili, consentendo tassi di apprendimento più elevati. Questa relazione viene esplorata nellaRegola di scala lineare.
• Algoritmo di ottimizzazione:l'ottimizzatore (ad es, SGD oAdam) è il metodo specifico utilizzato per aggiornare i pesi. Il tasso di apprendimento è un parametro utilizzato dall 'ottimizzatore. ottimizzatore. Ad esempio, Adam adatta il tasso di apprendimento per ogni parametro individualmente, mentre SGD standard applica un tasso fisso a tutti. un tasso fisso per tutti.
• Epoca:Un'epoca definisce un passaggio completo attraverso ilset di dati di addestramento. Il tasso di apprendimento determina quanto il modello apprende durante ogni passaggio all'interno di un'epoca, ma il numero di epoche determina la durata del processo di addestramento. determina la durata del processo di addestramento.

Per approfondire le dinamiche di ottimizzazione, risorse come gliappuntidi StanfordCS231n forniscono eccellenti spiegazioni visive di come i tassi di apprendimento influenzino i paesaggi delle perdite.