Scaling Laws

Empirische Beobachtungen zur neuronalen Skalierung in der künstlichen Intelligenz zeigen, dass sich die Leistung eines Modells vorhersehbar verbessert, wenn bestimmte Ressourcen – etwa Rechenleistung, Datensatzgröße und Parameteranzahl – erhöht werden. Diese zunächst durch Forschungsarbeiten von Organisationen wie OpenAI und Google DeepMind bekannt gewordenen Potenzgesetzbeziehungen zeigen, dass eine Aufstockung der Ressourcen mathematisch vorhersehbare Verringerungen des Kreuzentropieverlusts bewirkt. Das Verständnis dieser Prinzipien ermöglicht es Forschern und Ingenieuren, Budgets in Millionenhöhe effizient zuzuweisen und genau zu prognostizieren, wie groß ein neuronales Netzwerk sein muss, um eine angestrebte Genauigkeit zu erreichen, bevor ein umfangreicher Trainingslauf gestartet wird.

Die Entwicklung der Skalierung beim Vortraining#

Die ursprüngliche Formulierung dieser Regeln, die als Kaplan-Skalierungsgesetze bekannt sind und 2020 eingeführt wurden, zeigte, dass die Leistung von Sprachmodellen gleichmäßig mit zunehmender Rechenleistung beim Training skaliert. Dieses Rahmenwerk wurde später durch die Chinchilla-Skalierungsgesetze von 2022 verfeinert. Sie zeigten, dass für ein optimales Training sowohl die Modellgröße als auch die Trainingsdaten im gleichen Verhältnis skaliert werden müssen. Wenn du beispielsweise die Parameteranzahl eines Modells verdoppelst, musst du auch die Anzahl der Trainingstokens verdoppeln. Dieses Paradigma leitete erfolgreich die Entwicklung moderner großer Sprachmodelle (LLMs), die mit Frameworks wie PyTorch und TensorFlow erstellt werden, und stellt sicher, dass umfangreiche GPUs-Cluster effektiv genutzt werden, ohne Überanpassung zu riskieren oder Rechenleistung zu verschwenden.

Der Paradigmenwechsel: Skalierung der Rechenleistung zur Testzeit#

Zwischen 2024 und 2025 erlebte die KI-Branche, wie in jährlichen Berichten zum Fortschritt der KI hervorgehoben, einen tiefgreifenden Wandel hin zur Skalierung während der Inferenz. Als das Vortrainieren größerer Modelle auf abnehmende Erträge und Grenzen bei der Datenverfügbarkeit stieß, entdeckten Forscher, wie sich die Rechenleistung für LLMs zur Testzeit skalieren lässt. Indem man Modellen während der Inferenz mehr Rechenleistung zur Verfügung stellt, lassen sich ihre Fähigkeiten zum komplexen Schlussfolgern erheblich verbessern.

Techniken wie Gedankenketten (CoT) und Best-of-N-Sampling ermöglichen es Modellen, vor der Antwort mehrere Pfade zu erkunden. Dieses Skalierungsgesetz für die Testzeit, das von fortschrittlichen Modellen wie OpenAI's o1 und DeepSeek-R1 sowie anderen fortschrittlichen Schlussfolgerungsmodellen maßgeblich vorangetrieben wurde, zeigt, dass eine Erhöhung der Rechenleistung während der Vorhersagephase es einer deutlich kleineren, hocheffizienten Architektur ermöglichen kann, bei anspruchsvollen logischen Benchmarks ein sehr großes älteres Modell zu übertreffen.

Anwendungen in der Praxis#

Skalierungsprinzipien bestimmen die Entwicklung weit über die Texterzeugung hinaus und prägen maßgeblich moderne Pipelines für Computer Vision und Objekterkennung.

• Ressourcenzuweisung für Basismodelle: Unternehmen, die Systeme für autonomes Fahren entwickeln, nutzen Skalierungsformeln, um genau zu berechnen, wie viele annotierte Bilder erforderlich sind, um die Fehlerraten der mittleren durchschnittlichen Präzision (mAP) auf sichere, produktionsreife Werte zu senken. Durch den Einsatz der Ultralytics Platform für die gemeinsame Datenannotation und das cloudbasierte verteilte Training können Teams ihre Kosten vor der Bereitstellung mathematisch prognostizieren.
• Modellgröße und Bereitstellung am Rand: Skalierungsformeln beeinflussen direkt den architektonischen Entwurf moderner Modelle wie Ultralytics YOLO26. Durch das Angebot einer einheitlichen Modellfamilie, die mathematisch von Nano (n) bis Extra Large (x) skaliert ist, können Entwickler die strengen Genauigkeitsanforderungen vorhersehbar gegen die Inferenzlatenz abwägen, basierend auf den spezifischen Einschränkungen ihrer Edge-Hardware.

Codebeispiel: Skalierung zur Inferenzzeit in Computer Vision#

In Computer Vision kannst du eine praktische Form der Skalierung zur Testzeit nutzen, die als Testzeit-Augmentierung (TTA) bezeichnet wird. Indem du während der Vorhersagephase zusätzliche Rechenleistung aufwendest, um mehrere augmentierte Versionen eines Bildes auszuwerten, verbessert das Modell vorhersehbar seine Erkennungssicherheit und bildet damit die bei fortschrittlichen LLMs eingesetzten Techniken zur Suche nach Schlussfolgerungen nach.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Skalierungsgesetze im Vergleich zu verwandten Konzepten#

Obwohl sie eng mit den Hardwarefähigkeiten verbunden sind, messen KI-Skalierungsregeln speziell die Effizienz von Software und Algorithmen im Verhältnis zu dieser Hardware.

• Skalierungsgesetze im Vergleich zu Moores Gesetz: Moores Gesetz ist eine langjährige Hardwarebeobachtung, der zufolge sich die Anzahl der Transistoren auf einem Mikrochip ungefähr alle zwei Jahre verdoppelt. Im Gegensatz dazu verfolgt die KI-Skalierung mathematisch, wie sich die tatsächlichen Fähigkeiten eines Modells verbessern, wenn ihm dieser wachsende Hardwarebestand zur Verfügung steht.
• Skalierung beim Training im Vergleich zur Skalierung bei der Inferenz: Trainingsformeln berechnen die rechenoptimalste Kombination aus Parametern und Daten während der erstmaligen Erstellung eines Modells. Die Inferenzskalierung misst dagegen, wie der dynamische Einsatz zusätzlicher Rechenleistung für Such- und Verifizierungsschritte unmittelbar vor der Erzeugung einer Ausgabe das Endergebnis verbessert, ohne ein erneutes Training zu erfordern.