Scaling Laws

Le osservazioni empiriche dello scaling neurale nell'intelligenza artificiale dimostrano che le prestazioni di un modello migliorano in modo prevedibile all'aumentare di determinate risorse, come la potenza di calcolo, le dimensioni del dataset e il numero di parametri. Inizialmente rese popolari dalle ricerche di organizzazioni come OpenAI e Google DeepMind, queste relazioni di potenza mostrano che aumentare le risorse produce riduzioni matematicamente prevedibili della perdita di entropia incrociata. Comprendere questi principi consente a ricercatori e ingegneri di allocare in modo efficiente budget multimilionari, prevedendo esattamente quanto deve essere grande una rete neurale per raggiungere una determinata accuratezza prima di avviare un'enorme sessione di addestramento.

L'evoluzione dello scaling del pre-addestramento#

La formulazione originale di queste regole, nota come leggi di scaling di Kaplan e introdotta nel 2020, ha stabilito che le prestazioni dei modelli linguistici aumentano gradualmente con l'incremento del calcolo usato per l'addestramento. Questo framework è stato successivamente perfezionato dalle leggi di scaling di Chinchilla nel 2022, che hanno rivelato che, per un addestramento ottimale, sia le dimensioni del modello sia i dati di addestramento devono aumentare nella stessa proporzione. Ad esempio, se raddoppi i parametri di un modello, devi anche raddoppiare il numero di token di addestramento. Questo paradigma ha guidato con successo lo sviluppo dei moderni modelli linguistici di grandi dimensioni (LLMs) realizzati con framework come PyTorch e TensorFlow, assicurando che enormi cluster di GPU vengano utilizzati efficacemente senza rischiare l'overfitting o sprecare risorse di calcolo.

Il cambio di paradigma: scaling del calcolo al tempo del test#

Tra il 2024 e il 2025, come evidenziato nei rapporti annuali sui progressi dell'IA, il settore dell'IA ha vissuto un enorme spostamento verso lo scaling al tempo dell'inferenza. Quando il pre-addestramento di modelli più grandi ha iniziato a incontrare rendimenti decrescenti e limiti nella disponibilità dei dati, i ricercatori hanno scoperto come aumentare il calcolo degli LLM al tempo del test direttamente. Fornendo ai modelli maggiore potenza di elaborazione durante l'inferenza, è possibile migliorare drasticamente le capacità di ragionamento complesso.

Tecniche come Chain-of-Thought (CoT) e il campionamento Best-of-N consentono ai modelli di esplorare più percorsi prima di rispondere. Questa legge di scaling al tempo del test, introdotta da modelli avanzati come OpenAI's o1 e DeepSeek-R1, insieme ad altri modelli avanzati di ragionamento, dimostra che aumentare il calcolo nella fase di previsione può consentire a un'architettura molto più piccola ed efficiente di superare un enorme modello legacy nei benchmark di logica rigorosi.

Applicazioni nel mondo reale#

I principi dello scaling regolano lo sviluppo ben oltre la generazione di testo e determinano in larga misura le moderne pipeline di computer vision e rilevamento degli oggetti.

• Allocazione delle risorse per i modelli fondazionali: le aziende che sviluppano sistemi di guida autonoma si affidano alle formule di scaling per calcolare esattamente quante immagini annotate sono necessarie per ridurre i tassi di errore della Mean Average Precision (mAP) a livelli sicuri e pronti per la produzione. Utilizzando la Ultralytics Platform per l'annotazione dei dati collaborativa e l'addestramento distribuito basato sul cloud, i team possono stimare matematicamente i costi prima della distribuzione.
• Dimensionamento dei modelli e distribuzione sull'edge: le formule di scaling influenzano direttamente la progettazione architetturale dei moderni modelli come Ultralytics YOLO26. Offrendo una famiglia unificata di modelli scalata matematicamente da Nano (n) a Extra Large (x), gli sviluppatori possono prevedere il compromesso tra requisiti rigorosi di accuratezza e latenza di inferenza in base ai vincoli specifici del loro hardware edge.

Esempio di codice: scaling al tempo dell'inferenza nella computer vision#

Nella computer vision, puoi sfruttare una forma pratica di scaling al tempo del test chiamata aumento in fase di test (TTA). Utilizzando calcolo aggiuntivo durante la fase di previsione per valutare più versioni aumentate di un'immagine, il modello migliora in modo prevedibile la propria confidenza nel rilevamento, riproducendo le tecniche di ricerca del ragionamento osservate negli LLM avanzati.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Leggi di scaling e concetti correlati#

Sebbene siano strettamente correlate alle capacità hardware, le regole di scaling dell'IA misurano specificamente l'efficienza software e algoritmica in relazione a tale hardware.

• Leggi di scaling e legge di Moore: la legge di Moore è un'osservazione hardware di lunga data secondo cui il numero di transistor su un microchip raddoppia all'incirca ogni due anni. Al contrario, lo scaling dell'IA traccia matematicamente il miglioramento delle effettive capacità del modello in base all'accesso a quel parco hardware in espansione.
• Scaling dell'addestramento e scaling dell'inferenza: le formule di addestramento calcolano la combinazione di parametri e dati più efficiente in termini di calcolo durante la creazione iniziale di un modello. Lo scaling dell'inferenza, invece, misura come l'impiego dinamico di calcolo aggiuntivo per le fasi di ricerca e verifica immediatamente prima della generazione di un output migliori il risultato finale senza richiedere alcun nuovo addestramento.