Scaling Laws

Neuronale Skalierungsgesetze sind empirische Potenzgesetz-Beziehungen, die vorhersagen, wie der Loss eines Modells sinkt, wenn drei Ressourcen zunehmen: die Anzahl seiner Parameter (N), die Menge der Trainingsdaten in Tokens (D) und der Rechenaufwand für das Training in Gleitkommaoperationen (C). Die Kurven verlaufen über viele Größenordnungen hinweg gleichmäßig. Daher können Forschungsteams sie anhand kleiner, kostengünstiger Trainingsläufe bestimmen und damit die Modellgröße und das Datenbudget eines großen Trainingslaufs abschätzen, bevor sie dafür bezahlen. Der GPT-4-Bericht von OpenAI sagte beispielsweise bestimmte Aspekte der Leistung des endgültigen Modells anhand von Modellen voraus, die mit höchstens einem Tausendstel des dafür benötigten Rechenaufwands trainiert wurden. Die bekanntesten Gesetze beschreiben die Sprachmodellierung; dieselbe Methode lässt sich auch auf Bild-, Sprach- und Schlussfolgerungsmodelle anwenden.

Kaplan-Skalierungsgesetze#

OpenAI-Forschende unter der Leitung von Jared Kaplan veröffentlichten 2020 Scaling Laws for Neural Language Models. Sie stellten fest, dass der Kreuzentropie-Loss eines Transformer-Sprachmodells einem Potenzgesetz in N, D und C folgt. Einige Trends erstreckten sich über mehr als sieben Größenordnungen, während Breite, Tiefe und andere Architekturdetails innerhalb eines großen Bereichs nur minimale Auswirkungen hatten. Größere Modelle nutzten Daten außerdem effizienter, weshalb die Arbeit zu dem Schluss kam, dass rechenzeitoptimiertes Training sehr große Modelle mit vergleichsweise moderaten Datenmengen verwendet und lange vor der Konvergenz endet. GPT-3 folgte diesem Ansatz und wurde mit 175 Milliarden Parametern und 300 Milliarden Tokens trainiert.

Chinchilla und rechenzeitoptimiertes Training#

Die Chinchilla-Studie von DeepMind trainierte mehr als 400 Modelle mit 70 Millionen bis über 16 Milliarden Parametern und 5 bis 500 Milliarden Tokens und kam zu einem anderen Ergebnis: Bei einem festen Rechenbudget sollten Modellgröße und Anzahl der Trainingstokens im gleichen Verhältnis wachsen. Eine Verdoppelung der Parameter erfordert also eine Verdoppelung der Daten. Chinchilla selbst nutzte denselben Rechenaufwand wie Gopher mit 280 Milliarden Parametern, hatte aber 70 Milliarden Parameter und etwa viermal mehr Daten. Es übertraf Gopher, GPT-3 und Megatron-Turing NLG mit 530 Milliarden Parametern. Die Studie passte den Loss an die Funktion L(N, D) = E + A / N^α + B / D^β an, wobei E den nicht weiter verringerbaren Loss natürlicher Texte bezeichnet und die beiden anderen Terme mit der Modellgröße und der Datenmenge abnehmen. Das Training benötigt etwa 6 FLOPs pro Parameter und Token, also gilt C ≈ 6ND. Durch Minimierung des angepassten Losses für ein gegebenes C erhält man das rechenzeitoptimale Modell:

import numpy as np

# Chinchilla loss fit L(N, D) = E + A / N^alpha + B / D^beta, as re-estimated by Besiroglu et al. (2024)
E, A, B, alpha, beta = 1.8172, 482.01, 2085.43, 0.3478, 0.3658

# Training costs about 6 FLOPs per parameter per token, so a budget C fixes D = C / (6N)
N = np.logspace(8, 13, 10_000)
for C in [1e21, 1e23, 5.76e23, 1e25]:
    D = C / (6 * N)
    loss = E + A / N**alpha + B / D**beta
    best = loss.argmin()
    print(
        f"C={C:.2e} FLOPs: {N[best] / 1e9:6.1f}B params, {D[best] / 1e12:5.2f}T tokens, "
        f"{D[best] / N[best]:.0f} tokens/param, loss {loss[best]:.3f}"
    )

Die Koeffizienten stammen aus der Reproduktion der Chinchilla-Anpassung von Epoch AI, die die dritte Schätzung der Originalarbeit korrigierte. Bei Chinchillas Budget von 5,76 × 10^23 FLOPs ergibt die Anpassung 72,2 Milliarden Parameter und 1,33 Billionen Tokens. Das liegt nahe bei Chinchillas tatsächlichen 70 Milliarden Parametern und 1,4 Billionen Tokens. Bei jedem Budget zwischen 10^21 und 10^25 FLOPs ergeben sich 17 bis 22 Tokens pro Parameter, was mit der gängigen Faustregel von etwa 20 übereinstimmt.

Jenseits der Rechenzeitoptimierung#

Chinchillas Faustregel minimiert nur den Rechenaufwand beim Training, während bei einem bereitgestellten Modell Kosten für jede Anfrage anfallen. Kleinere Modelle, die weit über den rechenzeitoptimalen Punkt hinaus trainiert wurden, sind im Betrieb günstiger: Meta wies darauf hin, dass die rechenzeitoptimale Datenmenge für ein Modell mit 8 Milliarden Parametern etwa 200 Milliarden Tokens beträgt. Dennoch verbesserte sich Llama 3 8B bis zu 15 Billionen Tokens weiterhin logarithmisch. Deshalb werden kleine Sprachmodelle (SLMs) routinemäßig übertrainiert. Die verfügbare Datenmenge bildet die andere Grenze. Eine Studie zu Skalierung bei begrenzten Daten aus dem Jahr 2023 ergab, dass das Training mit bis zu vier Durchläufen über wiederholte Daten den Loss im Vergleich zu einzigartigen Daten kaum veränderte. Synthetische Daten erweitern das Angebot an Trainingsdaten zusätzlich.

Skalierung des Rechenaufwands zur Testzeit#

Eine zweite Dimension nutzt Rechenleistung bei der Inferenz. Schlussfolgerungsmodelle wie o1 von OpenAI erzeugen vor ihrer Antwort lange Gedankengänge. OpenAI berichtete 2024, dass die Genauigkeit von o1 sowohl mit mehr Rechenaufwand beim bestärkenden Lernen als auch mit mehr Denkzeit stieg. Eine Studie von Google DeepMind und UC Berkeley zur Skalierung des Rechenaufwands zur Testzeit ergab, dass rechenzeitoptimale Strategien wie die Suche mit einem Prozess-Belohnungsmodell (PRM) mehr als viermal so effizient waren wie Best-of-N-Sampling. Bei Problemen, die ein kleines Modell mit einer gewissen Wahrscheinlichkeit lösen kann, ermöglichte zusätzlicher Rechenaufwand zur Testzeit diesem Modell, bei gleicher FLOP-Zahl ein 14-mal größeres Modell zu übertreffen.

Skalierung in der Bildverarbeitung#

Bildverarbeitungsmodelle folgen demselben Muster. In Googles Studie Scaling Vision Transformers wurde ein Vision Transformer (ViT) mit 2 Milliarden Parametern trainiert, der bei ImageNet eine Top-1-Genauigkeit von 90,45 % erreichte. Ultralytics YOLO26 umfasst fünf Größenvarianten, die auf einer einzigen Modell-YAML-Datei basieren. Deren scales-Einträge legen Multiplikatoren für Tiefe und Breite sowie eine Kanalobergrenze fest, von n: [0.50, 0.25, 1024] bis x: [1.00, 1.50, 512]. Bei COCO steigt die mittlere durchschnittliche Präzision (mAP) von 40,9 bei YOLO26n mit 2,4 Millionen Parametern auf 57,5 bei YOLO26x mit 55,7 Millionen Parametern. Das entspricht einer 23-fachen Zunahme der Parameterzahl für einen Anstieg um 16,6 Punkte bei mAP50-95.