Scaling Laws

Les observations empiriques de la mise à l'échelle neuronale dans l'intelligence artificielle démontrent que les performances d'un modèle s'améliorent de manière prévisible à mesure que certaines ressources — telles que la puissance de calcul, la taille du jeu de données et le nombre de paramètres — augmentent. D'abord popularisées par les travaux d'organisations comme OpenAI et Google DeepMind, ces relations de loi de puissance montrent que l'augmentation des ressources entraîne des réductions mathématiquement prévisibles de la perte d'entropie croisée. Comprendre ces principes permet aux chercheurs et aux ingénieurs d'allouer efficacement des budgets de plusieurs millions de dollars et de déterminer précisément la taille qu'un réseau neuronal doit atteindre pour obtenir une précision cible avant de lancer un entraînement massif.

L'évolution de la mise à l'échelle du pré-entraînement#

La formulation originale de ces règles, connues sous le nom de lois de mise à l'échelle de Kaplan et introduites en 2020, a établi que les performances des modèles de langage évoluent progressivement avec l'augmentation de la puissance de calcul consacrée à l'entraînement. Ce cadre a ensuite été affiné par les lois de mise à l'échelle de Chinchilla en 2022, qui ont révélé que, pour un entraînement optimal, la taille du modèle et les données d'entraînement doivent être augmentées dans les mêmes proportions. Par exemple, si tu doubles le nombre de paramètres d'un modèle, tu dois également doubler le nombre de tokens d'entraînement. Ce paradigme a guidé avec succès le développement des grands modèles de langage (LLMs) modernes construits avec des frameworks comme PyTorch et TensorFlow, en garantissant que d'immenses clusters de GPUs sont utilisés efficacement sans risquer le surapprentissage ni gaspiller de ressources de calcul.

Le changement de paradigme : la mise à l'échelle du calcul au moment du test#

Entre 2024 et 2025, comme le soulignent les rapports annuels sur les progrès de l'IA, le secteur de l'IA a connu un changement majeur en faveur de la mise à l'échelle au moment de l'inférence. Alors que le pré-entraînement de modèles plus grands commençait à produire des rendements décroissants et se heurtait aux limites de la disponibilité des données, les chercheurs ont découvert comment mettre à l'échelle directement le calcul des LLM au moment du test. En fournissant aux modèles davantage de puissance de calcul pendant l'inférence, ils peuvent améliorer considérablement leurs capacités de raisonnement complexe.

Des techniques comme la chaîne de raisonnement (CoT) et l'échantillonnage Best-of-N permettent aux modèles d'explorer plusieurs voies avant de répondre. Cette loi de mise à l'échelle au moment du test, mise en avant par des modèles avancés comme o1 d'OpenAI et DeepSeek-R1, ainsi que par d'autres modèles de raisonnement avancé, prouve que l'augmentation du calcul consacré à la phase de prédiction peut permettre à une architecture beaucoup plus petite et très efficace de surpasser un modèle historique massif sur des benchmarks logiques exigeants.

Applications concrètes#

Les principes de mise à l'échelle régissent le développement bien au-delà de la génération de texte et déterminent largement les pipelines modernes de vision par ordinateur et de détection d'objets.

• Allocation des ressources pour les modèles fondamentaux : Les entreprises qui développent des systèmes de conduite autonome s'appuient sur des formules de mise à l'échelle pour calculer précisément combien d'images annotées sont nécessaires afin de réduire les taux d'erreur de la précision moyenne moyenne (mAP) à des niveaux sûrs et prêts pour la production. En utilisant l'Ultralytics Platform pour l'annotation des données collaborative et l'entraînement distribué dans le cloud, les équipes peuvent projeter mathématiquement leurs coûts avant le déploiement.
• Dimensionnement des modèles et déploiement en périphérie : Les formules de mise à l'échelle influencent directement la conception architecturale des modèles modernes comme Ultralytics YOLO26. En proposant une famille unifiée de modèles dimensionnés mathématiquement, de Nano (n) à Extra Large (x), les développeurs peuvent arbitrer de manière prévisible entre des exigences strictes de précision et la latence d'inférence, en fonction des contraintes spécifiques de leur matériel périphérique.

Exemple de code : mise à l'échelle au moment de l'inférence en vision par ordinateur#

En vision par ordinateur, tu peux exploiter une forme pratique de mise à l'échelle au moment du test appelée augmentation au moment du test (TTA). En consacrant davantage de puissance de calcul pendant la phase de prédiction à l'évaluation de plusieurs versions augmentées d'une image, le modèle améliore de manière prévisible sa confiance dans les détections, reproduisant les techniques de recherche de raisonnement observées dans les LLM avancés.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Lois de mise à l'échelle et concepts associés#

Bien qu'elles soient étroitement liées aux capacités matérielles, les règles de mise à l'échelle de l'IA mesurent spécifiquement l'efficacité logicielle et algorithmique par rapport à ce matériel.

• Lois de mise à l'échelle et loi de Moore : La loi de Moore est une observation matérielle établie de longue date, selon laquelle le nombre de transistors sur une micropuce double approximativement tous les deux ans. En revanche, la mise à l'échelle de l'IA suit mathématiquement l'amélioration des capacités réelles d'un modèle lorsqu'il bénéficie de cet ensemble de ressources matérielles en expansion.
• Mise à l'échelle de l'entraînement et mise à l'échelle de l'inférence : Les formules d'entraînement calculent la combinaison de paramètres et de données la plus optimale en termes de calcul lors de la création initiale d'un modèle. La mise à l'échelle de l'inférence mesure, quant à elle, comment l'utilisation dynamique de ressources de calcul supplémentaires pour les étapes de recherche et de vérification juste avant la génération d'une sortie améliore immédiatement le résultat final sans nécessiter de nouvel entraînement.