Neural Scaling Laws

Les lois d'échelle neuronales sont des relations empiriques qui décrivent l'évolution des performances des réseaux neuronaux lorsque la taille du modèle, les données d'entraînement et les ressources de calcul augmentent. Elles suivent généralement des lois de puissance : multiplier une ressource par un facteur fixe entraîne une réduction proportionnelle prévisible de l'erreur, jusqu'à un seuil minimal. Ces lois d'échelle permettent donc d'estimer les gains apportés par des entraînements de plus grande ampleur et de décider comment répartir un budget de calcul.

En IA, lois d'échelle est souvent synonyme de lois d'échelle neuronales. La scalabilité décrit la capacité d'un système à gérer efficacement des charges de travail croissantes.

Fonctionnement des lois d'échelle neuronales#

Trois grandeurs structurent la plupart des analyses de mise à l'échelle pendant l'entraînement :

• Taille du modèle : Le nombre de paramètres appris, y compris les poids du modèle, détermine la capacité du réseau à représenter des motifs.
• Données d'entraînement : La quantité de données d'entraînement fournit les exemples à partir desquels ces motifs sont appris. La taille des jeux de données des modèles de langage se mesure généralement en jetons, les unités de texte traitées par un modèle.
• Calcul d'entraînement : Le nombre total d'opérations arithmétiques effectuées pendant l'entraînement se mesure en opérations en virgule flottante, généralement abrégées en FLOPs.

Ces ressources interagissent : accroître la capacité du modèle modifie la quantité de données et d'efforts d'entraînement qui peuvent être exploités efficacement. Une relation d'échelle ajustée relie leur allocation conjointe à la perte attendue, l'erreur numérique mesurée par une fonction de perte.

Une courbe de loi de puissance semble approximativement droite lorsque les deux axes utilisent des échelles logarithmiques. Son exposant indique la vitesse à laquelle l'erreur diminue avec l'ajout de ressources. De petites expériences permettent d'établir la courbe et aux équipes de prévoir les résultats d'entraînements plus importants. En 2017, Joel Hestness et ses collègues ont démontré une évolution prévisible de l'erreur selon une loi de puissance pour des tâches de langage, de vision, de traduction et de parole.

Jared Kaplan, Sam McCandlish et leurs collègues ont établi des relations largement utilisées pour les modèles de langage dans leur article de 2020, Scaling Laws for Neural Language Models. Leurs expériences ont relié la perte d'entropie croisée des Transformers au nombre de paramètres, aux données et au calcul, certaines tendances s'étendant sur plus de sept ordres de grandeur.

Entraînement à calcul optimal et mise à l'échelle Chinchilla#

L'entraînement à calcul optimal consiste à choisir la combinaison de taille de modèle et de durée d'entraînement qui minimise la perte pour un budget d'entraînement fixe. Un modèle plus grand nécessite davantage de calcul par jeton, ce qui laisse moins de jetons disponibles dans le cadre de ce budget.

En 2022, Jordan Hoffmann et ses collègues ont présenté la règle de répartition Chinchilla, devenue une référence : le nombre de paramètres du modèle et le nombre de jetons d'entraînement doivent augmenter à peu près au même rythme que les ressources de calcul. Leurs expériences ont porté sur plus de 400 modèles de langage. La répartition du calcul optimale selon Chinchilla a produit un modèle de 70 milliards de paramètres qui a surpassé Gopher, doté de 280 milliards de paramètres, avec le même budget de calcul pour l'entraînement.

En pratique, consacrer trop de calcul aux paramètres laisse un modèle insuffisamment entraîné. Équilibrer la capacité et les données améliore les performances obtenues avec le même budget d'opérations. Le déploiement ajoute une autre considération : les modèles plus petits nécessitent moins de calcul pour l'inférence, de sorte que la répartition des ressources d'entraînement a également une incidence sur le coût de production des prédictions.

Applications en vision par ordinateur#

En vision par ordinateur, les analyses de mise à l'échelle relient la capacité des modèles, les jeux de données d'images, les efforts d'entraînement et la qualité des prédictions. Elles aident à décider s'il faut enrichir un jeu de données ou augmenter la taille d'un réseau.

Les expériences de mise à l'échelle des Transformers de vision de Google ont caractérisé les relations entre l'erreur, les données et le calcul. Le Transformer de vision qui en a résulté, avec deux milliards de paramètres, a atteint une précision top-1 de 90,45 % sur ImageNet, démontrant l'intérêt pratique d'une mise à l'échelle coordonnée pour la classification d'images.

Ultralytics YOLO applique la mise à l'échelle architecturale grâce aux différentes tailles de modèle de YOLO26, qui offrent aux utilisateurs diverses options en matière de capacité et de calcul pour la détection d'objets. Avec une résolution d'entrée de 640 pixels sur COCO, YOLO26n compte 2,4 millions de paramètres et atteint 40,9 en mAP50–95, tandis que YOLO26x compte 55,7 millions de paramètres et atteint 57,5 en mAP50–95, soit un gain de 16,6 points.

Pourquoi les taux de mise à l'échelle varient#

Les exposants de mise à l'échelle dépendent de la tâche, de la structure des données et de la méthode d'apprentissage. Un modèle à caractéristiques aléatoires constitue un exemple qui peut être résolu mathématiquement : il transforme les entrées en caractéristiques non linéaires fixes et apprend les poids de sortie correspondants. Alexander Maloney, Daniel Roberts et James Sully se sont appuyés sur cette construction en 2022 pour expliquer comment les statistiques d'un jeu de données produisent une perte de test suivant une loi de puissance, puis finissent par atteindre des plateaux de performance.

L'apprentissage des caractéristiques modifie les représentations internes pendant l'entraînement. Cela diffère de l'extraction de caractéristiques fixe, où les représentations ne changent pas. Blake Bordelon, Alexander Atanasov et Cengiz Pehlevan ont montré comment l'apprentissage des caractéristiques améliore la mise à l'échelle pour les tâches difficiles : dans leur modèle soluble, l'adaptation des caractéristiques double approximativement l'exposant de mise à l'échelle en fonction du calcul pour les fonctions cibles très difficiles.