Neural Scaling Laws

Neuronale Skalierungsgesetze sind empirische Zusammenhänge, die beschreiben, wie sich die Leistung neuronaler Netze verändert, wenn Modellgröße, Trainingsdaten und Rechenaufwand zunehmen. Häufig folgen sie Potenzgesetzen: Wird eine Ressource um einen festen Faktor erhöht, sinkt der Fehler oberhalb einer Grenzschwelle proportional und vorhersehbar. Dadurch eignen sich Skalierungsgesetze dazu, den Nutzen größerer Trainingsläufe abzuschätzen und zu entscheiden, wie ein Rechenbudget verteilt werden sollte.

In der KI ist Skalierungsgesetze oft ein Synonym für neuronale Skalierungsgesetze. Skalierbarkeit beschreibt, wie effizient ein System mit wachsenden Arbeitslasten umgehen kann.

So funktionieren neuronale Skalierungsgesetze#

Die meisten Analysen zur Skalierung während des Trainings betrachten drei Größen:

• Modellgröße: Die Anzahl der gelernten Parameter, einschließlich der Modellgewichte, bestimmt, wie gut das Netzwerk Muster darstellen kann.
• Trainingsdaten: Die Menge der Trainingsdaten liefert die Beispiele, anhand derer diese Muster gelernt werden. Datensätze für Sprachmodelle werden üblicherweise in Tokens gemessen, also den Texteinheiten, die ein Modell verarbeitet.
• Rechenaufwand beim Training: Die gesamte während des Trainings ausgeführte Rechenarbeit wird in Gleitkommaoperationen gemessen, meist abgekürzt als FLOPs.

Diese Ressourcen beeinflussen sich gegenseitig: Eine höhere Modellkapazität verändert, wie viele Daten und wie viel Trainingsaufwand sich sinnvoll einsetzen lassen. Ein angepasstes Skalierungsmodell verknüpft ihre gemeinsame Zuteilung mit dem erwarteten Verlust, also dem numerischen Fehler, der von einer Verlustfunktion gemessen wird.

Eine Potenzfunktion erscheint annähernd geradlinig, wenn beide Achsen logarithmisch skaliert sind. Ihr Exponent gibt an, wie schnell der Fehler mit zusätzlichen Ressourcen sinkt. Kleinere Experimente bilden die Grundlage für die Kurve und ermöglichen es Teams, größere Trainingsläufe vorherzusagen. Joel Hestness und seine Kollegen zeigten 2017, dass der Fehler bei Aufgaben in den Bereichen Sprache, Bildverarbeitung, Übersetzung und Spracherkennung vorhersehbar einem Potenzgesetz folgt.

Jared Kaplan, Sam McCandlish und ihre Kollegen beschrieben 2020 in ihrer Arbeit Skalierungsgesetze für neuronale Sprachmodelle weithin verwendete Zusammenhänge für Sprachmodelle. Ihre Experimente verknüpften den Kreuzentropieverlust von Transformer mit Parametern, Daten und Rechenaufwand; einige Trends erstreckten sich über mehr als sieben Größenordnungen.

Rechenoptimales Training und Chinchilla-Skalierung#

Rechenoptimales Training wählt die Kombination aus Modellgröße und Trainingsdauer, die bei einem festen Trainingsbudget den geringsten Verlust erzielt. Ein größeres Modell benötigt pro Token mehr Rechenleistung, sodass innerhalb desselben Budgets weniger Tokens verarbeitet werden können.

Jordan Hoffmann und seine Kollegen stellten 2022 die einflussreiche Chinchilla-Zuteilungsregel vor: Mit zunehmender Rechenleistung sollten die Anzahl der Modellparameter und der Trainingstokens ungefähr gleichmäßig wachsen. Ihre Experimente umfassten mehr als 400 Sprachmodelle. Chinchillas rechenoptimale Zuteilung ergab ein Modell mit 70 Milliarden Parametern, das bei gleichem Trainingsbudget den Gopher mit 280 Milliarden Parametern übertraf.

Die praktische Folge: Wird zu viel Rechenleistung für Parameter eingesetzt, bleibt ein Modell untertrainiert. Ein ausgewogenes Verhältnis zwischen Kapazität und Daten verbessert die Leistung, die sich mit demselben Rechenbudget erzielen lässt. Beim Einsatz kommt ein weiterer Faktor hinzu: Kleinere Modelle benötigen für die Inferenz weniger Rechenleistung. Die Trainingszuteilung wirkt sich somit auch auf die Kosten für die Bereitstellung von Vorhersagen aus.

Anwendungen in der Computer Vision#

In der Computer Vision verknüpfen Skalierungsanalysen Modellkapazität, Bilddatensätze, Trainingsaufwand und Vorhersagequalität. Sie helfen bei der Entscheidung, ob ein Datensatz erweitert oder ein Netzwerk vergrößert werden sollte.

Googles Skalierungsexperimente mit Vision-Transformern untersuchten Zusammenhänge zwischen Fehler, Daten und Rechenaufwand. Der daraus entstandene Vision Transformer mit zwei Milliarden Parametern erreichte auf ImageNet eine Top-1-Genauigkeit von 90,45 % und belegte damit den praktischen Nutzen einer abgestimmten Skalierung für die Bildklassifizierung.

Ultralytics YOLO setzt architektonische Skalierung über Modellgrößenvarianten von YOLO26 um und bietet Nutzern unterschiedliche Möglichkeiten bei Kapazität und Rechenaufwand für die Objekterkennung. Bei einer Eingabeauflösung von 640 Pixeln auf COCO hat YOLO26n 2,4 Millionen Parameter und einen Wert von 40,9 mAP50–95, während YOLO26x auf 55,7 Millionen Parameter und einen Wert von 57,5 mAP50–95 kommt – ein Zuwachs von 16,6 Punkten.

Warum sich Skalierungsraten unterscheiden#

Skalierungsexponenten hängen von der Aufgabe, der Datenstruktur und der Lernmethode ab. Ein Zufallsmerkmalsmodell ist ein mathematisch lösbares Beispiel: Es bildet Eingaben auf feste, nichtlineare Merkmale ab und lernt die zugehörigen Ausgabewerte. Alexander Maloney, Daniel Roberts und James Sully nutzten diese Konstruktion 2022, um zu erklären, wie die Statistik eines Datensatzes zu einem Testverlust nach einem Potenzgesetz und schließlich zu Leistungsplateaus führt.

Merkmalslernen verändert die internen Repräsentationen während des Trainings. Das unterscheidet es von der festen Merkmalsextraktion, bei der die Repräsentationen unverändert bleiben. Blake Bordelon, Alexander Atanasov und Cengiz Pehlevan zeigten, wie Merkmalslernen die Skalierung bei schwierigen Aufgaben verbessert: In ihrem lösbaren Modell verdoppelt die Anpassung der Merkmale den Skalierungsexponenten in Bezug auf den Rechenaufwand bei sehr schwierigen Zielfunktionen annähernd.