Scaling Laws

Les lois d’échelle neuronales sont des relations empiriques de loi de puissance qui prédisent la diminution de la perte d’un modèle lorsque trois ressources augmentent : le nombre de ses paramètres (N), la quantité de données d’entraînement en tokens (D) et le calcul d’entraînement en opérations à virgule flottante (C). Les courbes restent régulières sur plusieurs ordres de grandeur ; les laboratoires peuvent donc les ajuster à partir d’exécutions modestes et peu coûteuses, puis extrapoler pour choisir la taille et le volume de données d’une grande exécution avant d’en assumer le coût. Par exemple, le rapport d’OpenAI sur GPT-4 a prédit certains aspects des performances du modèle final à partir de modèles entraînés avec au plus 1/1 000e de son budget de calcul. Les lois les mieux connues décrivent la modélisation du langage, et la même méthode s’applique aux modèles de vision, de parole et de raisonnement.

Lois d’échelle de Kaplan#

Des chercheurs d’OpenAI dirigés par Jared Kaplan ont publié Scaling Laws for Neural Language Models en 2020. Ils ont constaté que la perte d’entropie croisée d’un modèle de langage Transformer suit une loi de puissance en fonction de N, D et C, certaines tendances couvrant plus de sept ordres de grandeur, tandis que la largeur, la profondeur et d’autres détails architecturaux ont des effets minimes sur une large plage de valeurs. Les modèles plus grands étaient également plus efficaces en termes d’échantillons ; l’article en a donc conclu qu’un entraînement économe en calcul utilise de très grands modèles sur des données relativement limitées et s’arrête bien avant la convergence. GPT-3 a suivi cette approche avec 175 milliards de paramètres entraînés sur 300 milliards de tokens.

Chinchilla et l’entraînement optimal en calcul#

L’étude Chinchilla de DeepMind a entraîné plus de 400 modèles, de 70 millions à plus de 16 milliards de paramètres, sur des volumes allant de 5 à 500 milliards de tokens, et est parvenue à une conclusion différente : pour un budget de calcul fixe, la taille du modèle et le nombre de tokens d’entraînement doivent augmenter dans la même proportion ; chaque doublement du nombre de paramètres nécessite donc de doubler les données. Chinchilla a utilisé le même calcul que Gopher, qui compte 280 milliards de paramètres, mais n’en comptait que 70 milliards et disposait d’environ quatre fois plus de données ; il a dépassé Gopher, GPT-3 et Megatron-Turing NLG, qui compte 530 milliards de paramètres. L’étude a ajusté la perte selon la formule L(N, D) = E + A / N^α + B / D^β, où E est la perte irréductible du texte naturel et les deux autres termes diminuent avec la taille du modèle et le volume de données. L’entraînement coûte environ 6 FLOPs par paramètre et par token, donc C ≈ 6ND ; minimiser la perte ajustée pour un C donné donne le modèle optimal en calcul :

import numpy as np

# Chinchilla loss fit L(N, D) = E + A / N^alpha + B / D^beta, as re-estimated by Besiroglu et al. (2024)
E, A, B, alpha, beta = 1.8172, 482.01, 2085.43, 0.3478, 0.3658

# Training costs about 6 FLOPs per parameter per token, so a budget C fixes D = C / (6N)
N = np.logspace(8, 13, 10_000)
for C in [1e21, 1e23, 5.76e23, 1e25]:
    D = C / (6 * N)
    loss = E + A / N**alpha + B / D**beta
    best = loss.argmin()
    print(
        f"C={C:.2e} FLOPs: {N[best] / 1e9:6.1f}B params, {D[best] / 1e12:5.2f}T tokens, "
        f"{D[best] / N[best]:.0f} tokens/param, loss {loss[best]:.3f}"
    )

Les coefficients proviennent de la réplication de l’ajustement Chinchilla par Epoch AI, qui a corrigé la troisième estimation de l’article original. Avec le budget de Chinchilla de 5,76 × 10^23 FLOPs, l’ajustement choisit 72,2 milliards de paramètres et 1,33 billion de tokens, des valeurs proches des 70 milliards et 1,4 billion réels de Chinchilla ; pour chaque budget compris entre 10^21 et 10^25 FLOPs, il donne de 17 à 22 tokens par paramètre, conformément à la règle courante d’environ 20.

Au-delà de l’optimalité en calcul#

La règle de Chinchilla minimise uniquement le calcul d’entraînement, alors que le coût d’un modèle déployé est engagé à chaque requête. Les modèles plus petits, entraînés bien au-delà du point optimal en calcul, coûtent moins cher à servir : Meta a indiqué que le volume de données optimal selon Chinchilla pour un modèle de 8 milliards de paramètres est d’environ 200 milliards de tokens, mais Llama 3 8B a continué à progresser de façon log-linéaire jusqu’à 15 billions de tokens, ce qui explique pourquoi les petits modèles de langage (SLM) sont couramment surentraînés. La disponibilité des données constitue l’autre limite. Une étude de 2023 sur la mise à l’échelle sous contrainte de données a constaté que l’entraînement sur des données répétées pendant jusqu’à quatre époques modifiait très peu la perte par rapport à des données uniques, et les données synthétiques permettent d’accroître encore le volume des données d’entraînement.

Mise à l’échelle du calcul à l’inférence#

Un second axe consiste à dépenser du calcul pendant l’inférence. Les modèles de raisonnement comme o1 d’OpenAI génèrent de longues chaînes de raisonnement avant de répondre, et OpenAI a indiqué en 2024 que la précision de o1 augmentait à la fois avec davantage de calcul d’apprentissage par renforcement et avec plus de temps consacré au raisonnement. Une étude de Google DeepMind et de l’UC Berkeley sur la mise à l’échelle du calcul à l’inférence a montré que les stratégies optimales en calcul, comme la recherche guidée par un modèle de récompense du processus (PRM), étaient plus de quatre fois plus efficaces que l’échantillonnage best-of-N, et que, pour les problèmes auxquels un petit modèle peut réussir dans une certaine mesure, le calcul supplémentaire à l’inférence lui permettait de dépasser un modèle 14 fois plus grand à nombre de FLOPs égal.

Mise à l’échelle en vision par ordinateur#

Les modèles de vision suivent la même tendance. L’étude de Google Scaling Vision Transformers a entraîné un transformeur de vision (ViT) de 2 milliards de paramètres qui a atteint une précision top-1 de 90,45 % sur ImageNet. Ultralytics YOLO26 décline ses cinq tailles à partir d’un même fichier YAML de modèle, dont les entrées scales définissent les multiplicateurs de profondeur et de largeur ainsi qu’un plafond du nombre de canaux, de n: [0.50, 0.25, 1024] à x: [1.00, 1.50, 512]. Sur COCO, la précision moyenne moyenne (mAP) passe de 40,9 pour YOLO26n, qui compte 2,4 millions de paramètres, à 57,5 pour YOLO26x, qui en compte 55,7 millions, soit 23 fois plus de paramètres pour un gain de 16,6 points de mAP50-95.