Double Descent
La doppia discesa è un andamento in cui l'errore di test diminuisce, raggiunge un picco alla soglia di interpolazione e poi diminuisce di nuovo man mano che i modelli diventano più grandi o vengono addestrati più a lungo.
La doppia discesa è un andamento in cui l’errore di un modello sui dati non visti prima diminuisce, aumenta e poi diminuisce ancora man mano che il modello diventa più grande o si allena più a lungo. Il picco dell’aumento si verifica vicino al punto in cui il modello diventa per la prima volta abbastanza grande da adattarsi perfettamente a ogni esempio di addestramento. Superato quel punto, aumentare la capacità fa scendere di nuovo l’errore di test, spesso al di sotto del miglior risultato ottenuto da qualsiasi modello più piccolo.
Questo fenomeno amplia il quadro classico del compromesso tra bias e varianza, che prevede un'unica curva a U: l'errore diminuisce man mano che un modello apprende più struttura, poi aumenta quando comincia ad adattarsi eccessivamente al rumore, perciò il modello migliore si trova da qualche parte a metà. Per i modelli fortemente sovraparametrizzati, come le moderne reti neurali, la curva a U rappresenta solo la prima metà del percorso. Mikhail Belkin e i colleghi hanno dato un nome al fenomeno in un articolo pubblicato nel 2019; nello stesso anno, ricercatori di Harvard e OpenAI hanno dimostrato che si manifesta nei modelli standard di deep learning, tra cui ResNet e i Transformer.
La soglia di interpolazione#
Il picco si trova alla soglia di interpolazione, ossia alla dimensione del modello in cui l’errore di addestramento raggiunge per la prima volta lo zero. Un modello di quelle dimensioni ha appena abbastanza parametri per passare per ogni punto di addestramento, quindi esiste essenzialmente un solo modo per riuscirci. Se alcune etichette sono rumorose o errate, l’unica soluzione deve piegarsi bruscamente per adattarvisi, le previsioni tra i punti di addestramento diventano instabili e l’errore di test aumenta vertiginosamente.
Oltre la soglia, molte diverse configurazioni dei parametri si adattano perfettamente ai dati di addestramento. I metodi di addestramento basati sul gradiente, come la discesa stocastica del gradiente, tendono a convergere sulle soluzioni più regolari; nei modelli lineari si tratta esattamente di quella con i pesi più piccoli. La capacità aggiuntiva viene quindi impiegata per rendere più regolare la funzione tra i punti. Questa preferenza implicita per le soluzioni semplici spiega perché una rete con molti più parametri che esempi di addestramento possa comunque generalizzare bene.
Lo script seguente riproduce la curva con una regressione a caratteristiche casuali su 40 punti di addestramento rumorosi. Ogni modello calcola la soluzione ai minimi quadrati con norma minima e il numero di caratteristiche casuali svolge il ruolo della dimensione del modello:
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")L'errore di test scende da 3.37 a 2.98 tra 10 e 20 caratteristiche, sale a 42.12 con 30 e a circa 3,960 con 40 caratteristiche, dove il modello può interpolare esattamente tutti e 40 i punti, poi scende a 29.01 con 50, a 2.72 con 100 e a 1.33 con 1,000 caratteristiche, ben al di sotto del miglior modello di piccole dimensioni.
Doppia discesa rispetto a modello, epoche e campioni#
La doppia discesa si manifesta lungo tre assi. La doppia discesa in funzione del modello, la curva classica, rappresenta l'errore di test in funzione delle dimensioni del modello, per esempio la larghezza della rete, a budget di addestramento fisso. La doppia discesa in funzione delle epoche rappresenta l'errore in funzione del tempo di addestramento, misurato in epoche, per un modello di grandi dimensioni: l'errore di validazione può migliorare, peggiorare e poi migliorare di nuovo con il proseguire dell'addestramento. La doppia discesa in funzione dei campioni rappresenta l'errore in funzione delle dimensioni del set di addestramento: più dati spostano la soglia verso modelli più grandi, quindi aggiungere dati può danneggiare temporaneamente un modello di dimensioni fisse.
Il rumore nelle etichette rende più pronunciati tutti e tre gli andamenti. Una regolarizzazione ben calibrata, come il decadimento dei pesi, e una forte aumento dei dati possono ridurre o eliminare il picco; questo è uno dei motivi per cui spesso è attenuato nelle esecuzioni di addestramento configurate con cura.
È facile confondere con questo fenomeno due fenomeni correlati. Nel grokking, l'accuratezza di validazione resta vicina a quella casuale a lungo dopo che l'accuratezza di addestramento ha raggiunto il 100%, poi aumenta di colpo, senza prima peggiorare. Le leggi di scaling descrivono il miglioramento graduale dei modelli di grandi dimensioni all'aumentare di parametri, dati e capacità di calcolo, il regime molto a destra del picco di interpolazione.
Implicazioni per l’addestramento dei modelli di visione#
La forma in funzione delle epoche è quella che conta di più nella pratica quotidiana: una metrica di validazione che cala a metà dell'addestramento non significa sempre che l'esecuzione abbia raggiunto il picco. Quando addestri i modelli Ultralytics YOLO26 in modalità di addestramento, per impostazione predefinita l'argomento patience termina l'esecuzione solo dopo 100 epoche senza miglioramenti nella fitness di validazione e il checkpoint con la fitness migliore viene salvato come best.pt, quindi un peggioramento temporaneo non interrompe l'esecuzione né sostituisce i pesi migliori.
Il rumore nelle etichette determina quanto è pronunciato il picco in funzione del modello. Negli esperimenti di Harvard e OpenAI, i modelli ResNet18 di larghezza crescente, addestrati su CIFAR-10 con etichette pulite, mostravano solo un plateau nell'errore di test intorno alla soglia di interpolazione; aggiungere rumore alle etichette ha trasformato quel plateau in un picco. Quando il 15% delle etichette di addestramento è stato randomizzato, le reti di dimensioni intermedie hanno ottenuto risultati di test peggiori sia delle reti più strette sia di quelle più larghe.










