Adam Optimizer

L’ottimizzatore Adam, abbreviazione di Adaptive Moment Estimation, è un algoritmo di ottimizzazione per addestrare le reti neurali, che assegna a ogni parametro una propria dimensione adattiva del passo. Presentato da Kingma e Ba in Adam: un metodo per l’ottimizzazione stocastica, estende la discesa del gradiente stocastica (SGD) con medie mobili dei gradienti passati e dei loro quadrati. I rapidi progressi iniziali e le impostazioni predefinite flessibili hanno reso Adam l’ottimizzatore di partenza più comune nel deep learning, mentre la variante AdamW è la scelta standard per addestrare Transformer e modelli linguistici di grandi dimensioni.

Come funziona Adam#

L’addestramento minimizza una funzione di perdita aggiornando ripetutamente ogni peso in base al suo gradiente. La SGD semplice scala ogni gradiente con lo stesso tasso di apprendimento. Adam conserva due valori aggiuntivi per parametro e li aggiorna a ogni passaggio t in base al gradiente corrente g:

1. Primo momento (momento): m = β1·m + (1 − β1)·g, una media dei gradienti con decadimento esponenziale che mantiene l’aggiornamento in una direzione coerente.
2. Secondo momento: v = β2·v + (1 − β2)·g², una media decrescente dei gradienti al quadrato che tiene traccia dell’ampiezza tipica dei gradienti di ciascun parametro.
3. Correzione del bias: m̂ = m / (1 − β1^t) e v̂ = v / (1 − β2^t), che compensano il fatto che entrambe le medie iniziano da zero.
4. Aggiornamento: θ = θ − lr · m̂ / (√v̂ + ε).

I valori predefiniti dello studio, usati anche da torch.optim.Adam di PyTorch, sono lr = 0.001, β1 = 0.9, β2 = 0.999 e ε = 1e-8. La divisione per √v̂ normalizza ogni passaggio in base all’ampiezza tipica del gradiente del parametro, così i passaggi restano vicini al tasso di apprendimento sia con gradienti minuscoli sia con gradienti enormi; inoltre, si riducono nelle direzioni rumorose in cui i gradienti positivi e negativi si annullano all’interno di m̂. Il frammento seguente confronta il primo passaggio di SGD e Adam su due parametri i cui gradienti differiscono di 1.000 volte in scala:

import torch

# Two parameters whose gradients differ in scale by 1,000x
scale = torch.tensor([1000.0, 1.0])

for name, optimizer_cls in [("SGD", torch.optim.SGD), ("Adam", torch.optim.Adam)]:
    w = torch.zeros(2, requires_grad=True)
    optimizer = optimizer_cls([w], lr=0.001)

    loss = (scale * w).sum()  # gradient is [1000, 1]
    loss.backward()
    optimizer.step()
    print(f"{name} first step: {[round(v, 4) for v in w.tolist()]}")

SGD porta il primo parametro a -1.0 e il secondo a -0.001, una differenza di 1.000 volte che riflette quella dei gradienti. Adam sposta entrambi esattamente del tasso di apprendimento, -0.001, perché il suo passaggio normalizzato dipende dalla direzione e dalla coerenza del gradiente, non dalla sua ampiezza assoluta.

Adam e AdamW#

Nell’implementazione più comune, Adam applica il decadimento dei pesi, una forma di regolarizzazione, come penalità L2 aggiunta al gradiente; la penalità viene quindi divisa per √v̂ insieme a tutto il resto, perciò i pesi con gradienti elevati ricevono pochissima regolarizzazione. Il decadimento dei pesi disaccoppiato di Loshchilov e Hutter risolve il problema riducendo direttamente i pesi a ogni passaggio, separatamente dall’aggiornamento adattivo. Negli esperimenti dello studio, AdamW ha migliorato la generalizzazione di Adam nella classificazione delle immagini ed è disponibile come torch.optim.AdamW.

Adam e SGD a confronto#

SGD con momento usa un unico tasso di apprendimento globale e memorizza un buffer per parametro, mentre Adam ne memorizza due, 8 byte per parametro in precisione a 32 bit, per un totale di 56 GB di stato dell’ottimizzatore per un modello con 7 miliardi di parametri. Adam di solito progredisce più rapidamente all’inizio, è meno sensibile al tasso di apprendimento e addestra i Transformer in modo molto più affidabile di SGD. SGD ben regolata spesso raggiunge un’accuratezza finale pari o superiore nei modelli convoluzionali per immagini, e Wilson et al. hanno rilevato che i metodi adattivi spesso generalizzavano peggio di SGD nei compiti di classificazione delle immagini e nei compiti linguistici da loro esaminati.

L’addestramento Ultralytics YOLO riflette questo compromesso: il valore predefinito optimizer="auto" seleziona AdamW, con un tasso di apprendimento iniziale adattato al numero di classi, per esecuzioni fino a 10.000 iterazioni; per pianificazioni più lunghe passa a MuSGD, un ibrido di SGD e Muon. Anche impostare esplicitamente l’ottimizzatore richiede di impostare il tasso di apprendimento, perché il valore predefinito lr0=0.01 è adatto a SGD ed è dieci volte superiore al tasso normalmente usato da Adam.

from ultralytics import YOLO

# Carica un modello YOLO26n preaddestrato
model = YOLO("yolo26n.pt")

# Addestra con AdamW e un tasso di apprendimento iniziale adatto ad Adam
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW", lr0=0.001)

Quando YOLO26 viene addestrato con un ottimizzatore della famiglia Adam, l’argomento momentum (predefinito 0.937) imposta β1, mentre β2 resta fisso a 0.999.

Adam e ottimizzatori correlati#

• AdaGrad: divide ogni passaggio per la radice della somma di tutti i gradienti al quadrato precedenti, perciò la dimensione dei passaggi può solo diminuire; è adatto alle caratteristiche sparse, ma rallenta le lunghe sessioni di addestramento.
• RMSProp: sostituisce la somma cumulativa di AdaGrad con una media esponenzialmente decrescente dei gradienti al quadrato. Adam è essenzialmente RMSProp con momento e correzione del bias.
• Muon: un ottimizzatore per le matrici dei pesi 2D degli strati nascosti che ortogonalizza ogni aggiornamento del momento con iterazioni di Newton–Schulz e mantiene un singolo buffer di stato per parametro, la metà dello stato dell’ottimizzatore Adam.