Neural Scaling Laws

Le leggi di scaling neurale sono relazioni empiriche che descrivono come cambiano le prestazioni delle reti neurali all'aumentare delle dimensioni del modello, dei dati di addestramento e delle risorse di calcolo. Seguono comunemente leggi di potenza: moltiplicare una risorsa per un fattore fisso produce una riduzione proporzionale e prevedibile dell'errore, fino a raggiungere un limite minimo. Questo rende le leggi di scaling utili per stimare i benefici di sessioni di addestramento più ampie e decidere come allocare il budget di calcolo.

Nell'IA, leggi di scaling è spesso sinonimo di leggi di scaling neurale. La scalabilità descrive la capacità di un sistema di gestire in modo efficiente carichi di lavoro crescenti.

Come funzionano le leggi di scaling neurale#

La maggior parte delle analisi di scaling durante l'addestramento si basa su tre grandezze:

• Dimensioni del modello: il numero di parametri appresi, inclusi i pesi del modello, determina la capacità della rete di rappresentare i pattern.
• Dati di addestramento: la quantità di dati di addestramento fornisce gli esempi da cui vengono appresi i pattern. I set di dati dei modelli linguistici sono comunemente misurati in token, le unità di testo elaborate da un modello.
• Calcolo per l'addestramento: il totale delle operazioni aritmetiche eseguite durante l'addestramento si misura in operazioni in virgola mobile, generalmente abbreviate in FLOPs.

Queste risorse interagiscono: aumentare la capacità del modello modifica la quantità di dati e di lavoro di addestramento che è possibile sfruttare efficacemente. Una relazione di scaling adattata collega la loro allocazione congiunta alla loss prevista, ovvero l'errore numerico misurato da una funzione di loss.

Una curva di legge di potenza appare approssimativamente rettilinea quando entrambi gli assi utilizzano scale logaritmiche. Il suo esponente descrive la rapidità con cui l'errore diminuisce con l'aumentare delle risorse. Gli esperimenti più piccoli definiscono la curva e consentono ai team di prevedere i risultati di sessioni di addestramento più ampie. Nel 2017, Joel Hestness e colleghi hanno dimostrato una riduzione prevedibile dell'errore secondo una legge di potenza in attività di linguaggio, visione, traduzione e riconoscimento vocale.

Jared Kaplan, Sam McCandlish e colleghi hanno definito relazioni ampiamente utilizzate per i modelli linguistici nell'articolo del 2020 Scaling Laws for Neural Language Models. I loro esperimenti hanno collegato la loss di entropia incrociata dei Transformer ai parametri, ai dati e al calcolo, con alcune tendenze estese per oltre sette ordini di grandezza.

Addestramento ottimale rispetto al calcolo e scaling Chinchilla#

L'addestramento ottimale rispetto al calcolo seleziona la combinazione di dimensioni del modello e durata dell'addestramento che raggiunge la loss più bassa con un budget di addestramento fisso. Un modello più grande richiede più calcolo per token, lasciando meno token disponibili entro quel budget.

Nel 2022, Jordan Hoffmann e colleghi hanno introdotto l'influente regola di allocazione Chinchilla: all'aumentare del calcolo, i parametri del modello e i token di addestramento dovrebbero crescere approssimativamente di pari passo. I loro esperimenti hanno coinvolto oltre 400 modelli linguistici. L'allocazione ottimale rispetto al calcolo di Chinchilla ha prodotto un modello da 70 miliardi di parametri che ha superato Gopher, da 280 miliardi di parametri, con lo stesso budget di calcolo per l'addestramento.

La conseguenza pratica è che destinare troppo calcolo ai parametri lascia il modello sottoaddestrato. Bilanciare capacità e dati migliora le prestazioni ottenute con lo stesso budget di operazioni aritmetiche. La distribuzione introduce un'ulteriore considerazione: i modelli più piccoli richiedono meno calcolo per l'inferenza, quindi l'allocazione delle risorse per l'addestramento influisce anche sul costo di erogazione delle predizioni.

Applicazioni nella computer vision#

Nella visione artificiale, le analisi di scaling collegano la capacità del modello, i set di dati di immagini, il lavoro di addestramento e la qualità delle predizioni. Aiutano a decidere se ampliare un set di dati o aumentare le dimensioni di una rete.

Gli esperimenti di scaling dei Vision Transformer di Google hanno caratterizzato le relazioni tra errore, dati e calcolo. Il Vision Transformer risultante, con due miliardi di parametri, ha raggiunto un'accuratezza top-1 del 90,45% su ImageNet, dimostrando il valore pratico di uno scaling coordinato per la classificazione delle immagini.

Ultralytics YOLO applica lo scaling architetturale attraverso le varianti di YOLO26 per dimensioni del modello, offrendo agli utenti diverse opzioni di capacità e calcolo per il rilevamento di oggetti. Con una risoluzione di input di 640 pixel su COCO, YOLO26n ha 2,4 milioni di parametri e un mAP50–95 di 40,9, mentre YOLO26x ha 55,7 milioni di parametri e un mAP50–95 di 57,5: un miglioramento di 16,6 punti.

Perché i tassi di scaling variano#

Gli esponenti di scaling dipendono dall'attività, dalla struttura dei dati e dal metodo di apprendimento. Un modello a caratteristiche casuali offre un esempio risolvibile matematicamente: mappa gli input in caratteristiche non lineari fisse e apprende i pesi di output corrispondenti. Nel 2022, Alexander Maloney, Daniel Roberts e James Sully hanno utilizzato questa costruzione per spiegare come le statistiche dei set di dati producano una loss di test secondo una legge di potenza e, infine, un plateau delle prestazioni.

L'apprendimento delle caratteristiche modifica le rappresentazioni interne durante l'addestramento. Si differenzia dall'estrazione di caratteristiche fissa, in cui le rappresentazioni restano invariate. Blake Bordelon, Alexander Atanasov e Cengiz Pehlevan hanno mostrato come l'apprendimento delle caratteristiche migliori lo scaling nelle attività difficili: nel loro modello risolvibile, l'adattamento delle caratteristiche raddoppia approssimativamente l'esponente di scaling rispetto al calcolo per funzioni target molto difficili.