Scaling Laws

Empirical observations of neural scaling in artificial intelligence demonstrate that a model's performance improves predictably as specific resources—such as compute power, dataset size, and the number of parameters—are increased. Initially popularized by research from organizations like OpenAI and Google DeepMind, these power-law relationships show that scaling up resources yields mathematically predictable reductions in cross-entropy loss. Understanding these principles allows researchers and engineers to efficiently allocate multi-million-dollar budgets, projecting exactly how large a neural network needs to be to hit a target accuracy before initiating a massive training run.

Link to this section事前学習スケーリングの進化#

The original formulation of these rules, known as the Kaplan scaling laws introduced in 2020, established that language model performance scales smoothly with increased training compute. This framework was later refined by the Chinchilla Scaling Laws in 2022, which revealed that for optimal training, both model size and training data must be scaled in equal proportions. For instance, if you double a model's parameters, you must also double the number of training tokens. This paradigm successfully guided the development of modern Large Language Models (LLMs) built using frameworks like PyTorch and TensorFlow, ensuring that massive clusters of GPUs are utilized effectively without risking overfitting or wasting computation.

Link to this sectionパラダイムシフト：推論時計算のスケーリング#

AIの年次報告書で強調されているように、2024年から2025年にかけて、AI業界は推論時のスケーリングへと大きくシフトしました。より大規模なモデルの事前学習が収穫逓減やデータ供給の限界に達し始めたため、研究者はLLMの推論時計算を直接スケーリングする方法を発見しました。推論中にモデルにより多くの処理能力を与えることで、複雑な推論能力を劇的に向上させることが可能になります。

Chain-of-Thought (CoT) や Best-of-N サンプリングといった技術により、モデルは回答前に複数の経路を探索できるようになります。OpenAIのo1やDeepSeek-R1、その他の高度な推論モデルなどの先進的なモデルによって開拓されたこの推論時のスケーリング則は、予測段階の計算量を増やすことで、より小さく非常に効率的なアーキテクチャであっても、厳格な論理的ベンチマークにおいて巨大なレガシーモデルを上回ることができることを証明しています。

Link to this section実社会での応用#

スケーリングの原則はテキスト生成をはるかに超えて開発を支配しており、現代のコンピュータビジョンや物体検出のパイプラインを強く決定づけています。

• Resource Allocation for Foundation Models: Companies developing autonomous driving systems rely on scaling formulas to calculate exactly how many annotated images are required to reduce Mean Average Precision (mAP) error rates to safe, production-ready levels. By utilizing the Ultralytics Platform for collaborative data annotation and cloud-based distributed training, teams can project their costs mathematically before deployment.
• モデルサイズとエッジデプロイ: スケーリング公式は、Ultralytics YOLO26のような現代のモデルのアーキテクチャ設計に直接的な影響を与えています。Nano (n) から Extra Large (x) まで数学的にスケールされたモデルファミリーを提供することで、開発者は特定の各エッジハードウェアの制約に基づき、厳格な精度要件と推論レイテンシの間のトレードオフを予測可能に調整できます。

Link to this sectionコード例：コンピュータビジョンにおける推論時のスケーリング#

In computer vision, you can leverage a practical form of test-time scaling called Test-Time Augmentation (TTA). By spending additional compute during the prediction phase to evaluate multiple augmented versions of an image, the model predictably improves its detection confidence, mirroring the reasoning search techniques seen in advanced LLMs.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Link to this sectionスケーリング則と関連概念の比較#

AIのスケーリング則はハードウェアの性能と密接に関連していますが、特にそのハードウェアに対するソフトウェアとアルゴリズムの効率性を測定するものです。

• スケーリング則 vs. ムーアの法則: ムーアの法則は、マイクロチップ上のトランジスタ数が約2年ごとに倍増するという、長年続いてきたハードウェアに関する観測です。対照的に、AIのスケーリングは、拡大し続けるハードウェアリソースを利用する中で、モデルの実際の能力がどのように向上するかを数学的に追跡するものです。
• トレーニングスケーリング vs. 推論スケーリング: トレーニングの公式は、モデルの初期作成時におけるパラメータとデータの最も計算効率の良い組み合わせを計算します。逆に、推論のスケーリングは、再トレーニングを必要とせずに、出力生成の直前に行う検索や検証の手順に対して動的に計算リソースを費やすことが、最終結果をどのように即座に改善するかを測定します。