Licenza YOLO
Torna al glossario di Ultralytics

Double Descent

La doppia discesa è un andamento in cui l'errore di test diminuisce, raggiunge un picco alla soglia di interpolazione e poi diminuisce di nuovo man mano che i modelli diventano più grandi o vengono addestrati più a lungo.

La doppia discesa è un andamento in cui l’errore di un modello sui dati non visti prima diminuisce, aumenta e poi diminuisce ancora man mano che il modello diventa più grande o si allena più a lungo. Il picco dell’aumento si verifica vicino al punto in cui il modello diventa per la prima volta abbastanza grande da adattarsi perfettamente a ogni esempio di addestramento. Superato quel punto, aumentare la capacità fa scendere di nuovo l’errore di test, spesso al di sotto del miglior risultato ottenuto da qualsiasi modello più piccolo.

Questo fenomeno amplia il quadro classico del compromesso tra bias e varianza, che prevede un'unica curva a U: l'errore diminuisce man mano che un modello apprende più struttura, poi aumenta quando comincia ad adattarsi eccessivamente al rumore, perciò il modello migliore si trova da qualche parte a metà. Per i modelli fortemente sovraparametrizzati, come le moderne reti neurali, la curva a U rappresenta solo la prima metà del percorso. Mikhail Belkin e i colleghi hanno dato un nome al fenomeno in un articolo pubblicato nel 2019; nello stesso anno, ricercatori di Harvard e OpenAI hanno dimostrato che si manifesta nei modelli standard di deep learning, tra cui ResNet e i Transformer.

La soglia di interpolazione#

Il picco si trova alla soglia di interpolazione, ossia alla dimensione del modello in cui l’errore di addestramento raggiunge per la prima volta lo zero. Un modello di quelle dimensioni ha appena abbastanza parametri per passare per ogni punto di addestramento, quindi esiste essenzialmente un solo modo per riuscirci. Se alcune etichette sono rumorose o errate, l’unica soluzione deve piegarsi bruscamente per adattarvisi, le previsioni tra i punti di addestramento diventano instabili e l’errore di test aumenta vertiginosamente.

Oltre la soglia, molte diverse configurazioni dei parametri si adattano perfettamente ai dati di addestramento. I metodi di addestramento basati sul gradiente, come la discesa stocastica del gradiente, tendono a convergere sulle soluzioni più regolari; nei modelli lineari si tratta esattamente di quella con i pesi più piccoli. La capacità aggiuntiva viene quindi impiegata per rendere più regolare la funzione tra i punti. Questa preferenza implicita per le soluzioni semplici spiega perché una rete con molti più parametri che esempi di addestramento possa comunque generalizzare bene.

Lo script seguente riproduce la curva con una regressione a caratteristiche casuali su 40 punti di addestramento rumorosi. Ogni modello calcola la soluzione ai minimi quadrati con norma minima e il numero di caratteristiche casuali svolge il ruolo della dimensione del modello:

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

L'errore di test scende da 3.37 a 2.98 tra 10 e 20 caratteristiche, sale a 42.12 con 30 e a circa 3,960 con 40 caratteristiche, dove il modello può interpolare esattamente tutti e 40 i punti, poi scende a 29.01 con 50, a 2.72 con 100 e a 1.33 con 1,000 caratteristiche, ben al di sotto del miglior modello di piccole dimensioni.

Doppia discesa rispetto a modello, epoche e campioni#

La doppia discesa si manifesta lungo tre assi. La doppia discesa in funzione del modello, la curva classica, rappresenta l'errore di test in funzione delle dimensioni del modello, per esempio la larghezza della rete, a budget di addestramento fisso. La doppia discesa in funzione delle epoche rappresenta l'errore in funzione del tempo di addestramento, misurato in epoche, per un modello di grandi dimensioni: l'errore di validazione può migliorare, peggiorare e poi migliorare di nuovo con il proseguire dell'addestramento. La doppia discesa in funzione dei campioni rappresenta l'errore in funzione delle dimensioni del set di addestramento: più dati spostano la soglia verso modelli più grandi, quindi aggiungere dati può danneggiare temporaneamente un modello di dimensioni fisse.

Il rumore nelle etichette rende più pronunciati tutti e tre gli andamenti. Una regolarizzazione ben calibrata, come il decadimento dei pesi, e una forte aumento dei dati possono ridurre o eliminare il picco; questo è uno dei motivi per cui spesso è attenuato nelle esecuzioni di addestramento configurate con cura.

È facile confondere con questo fenomeno due fenomeni correlati. Nel grokking, l'accuratezza di validazione resta vicina a quella casuale a lungo dopo che l'accuratezza di addestramento ha raggiunto il 100%, poi aumenta di colpo, senza prima peggiorare. Le leggi di scaling descrivono il miglioramento graduale dei modelli di grandi dimensioni all'aumentare di parametri, dati e capacità di calcolo, il regime molto a destra del picco di interpolazione.

Implicazioni per l’addestramento dei modelli di visione#

La forma in funzione delle epoche è quella che conta di più nella pratica quotidiana: una metrica di validazione che cala a metà dell'addestramento non significa sempre che l'esecuzione abbia raggiunto il picco. Quando addestri i modelli Ultralytics YOLO26 in modalità di addestramento, per impostazione predefinita l'argomento patience termina l'esecuzione solo dopo 100 epoche senza miglioramenti nella fitness di validazione e il checkpoint con la fitness migliore viene salvato come best.pt, quindi un peggioramento temporaneo non interrompe l'esecuzione né sostituisce i pesi migliori.

Il rumore nelle etichette determina quanto è pronunciato il picco in funzione del modello. Negli esperimenti di Harvard e OpenAI, i modelli ResNet18 di larghezza crescente, addestrati su CIFAR-10 con etichette pulite, mostravano solo un plateau nell'errore di test intorno alla soglia di interpolazione; aggiungere rumore alle etichette ha trasformato quel plateau in un picco. Quando il 15% delle etichette di addestramento è stato randomizzato, le reti di dimensioni intermedie hanno ottenuto risultati di test peggiori sia delle reti più strette sia di quelle più larghe.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning