Adam Optimizer

L’optimiseur Adam, abréviation de l’estimation adaptative des moments, est un algorithme d’optimisation sophistiqué largement utilisé pour entraîner des modèles d’apprentissage profond. Il a révolutionné le domaine en combinant les avantages de deux autres extensions populaires de la descente de gradient stochastique (SGD) : l’algorithme de gradient adaptatif (AdaGrad) et la propagation de la moyenne quadratique (RMSProp). En calculant des taux d’apprentissage adaptatifs individuels pour différents paramètres à partir d’estimations des premier et deuxième moments des gradients, Adam permet aux réseaux neuronaux de converger nettement plus rapidement que les méthodes traditionnelles. Sa robustesse et ses besoins limités en réglages en font le choix par défaut de nombreux praticiens qui commencent un projet d’apprentissage automatique (ML).

Fonctionnement d’Adam#

À la base, l’entraînement d’un modèle consiste à minimiser une fonction de perte, qui mesure l’écart entre les prédictions du modèle et les données réelles. Les algorithmes standard utilisent généralement une taille de pas constante (taux d’apprentissage) pour descendre le long du « paysage de perte » vers l’erreur minimale. Cependant, ce paysage est souvent complexe et comporte des ravins ainsi que des plateaux susceptibles de piéger les algorithmes plus simples.

Adam gère ce problème en conservant deux tampons historiques pour chaque paramètre :

1. Momentum (premier moment) : À l’image d’une lourde boule qui roule sur une pente, il suit la moyenne mobile des gradients passés afin de conserver une vitesse dans la direction pertinente.

2. Variance (deuxième moment) : Elle suit la moyenne mobile des gradients élevés au carré, ce qui met à l’échelle le taux d’apprentissage.

Cette combinaison permet à l’optimiseur d’effectuer des pas plus grands dans les zones plates du paysage et des pas plus petits et plus prudents dans les zones abruptes ou bruitées. Les mécanismes précis sont détaillés dans l’article de recherche fondateur sur Adam de Kingma et Ba, qui a démontré sa supériorité empirique dans diverses tâches d’apprentissage profond (DL).

Applications concrètes#

La polyvalence de l’optimiseur Adam a conduit à son adoption dans pratiquement tous les secteurs de l’intelligence artificielle (AI).

• Traitement automatique du langage naturel (NLP) : Les grands modèles de langage, comme les modèles Transformer génératifs pré-entraînés (GPT), s’appuient largement sur Adam (ou sa variante AdamW) pour leur entraînement. L’algorithme gère efficacement les gradients clairsemés associés aux vocabulaires étendus et aux jeux de données massifs, permettant la création de chatbots et de systèmes de traduction performants.
• Vision par ordinateur dans le secteur de la santé : Dans l’analyse d’images médicales, les modèles doivent détecter des anomalies subtiles, comme des tumeurs sur des IRM. Adam aide les réseaux neuronaux convolutifs (CNNs) à converger rapidement vers des solutions très précises, ce qui est essentiel lors du développement d’outils de diagnostic pour l’AI dans le secteur de la santé.

Adam par rapport à SGD#

Bien qu’Adam converge généralement plus rapidement, il est important de le distinguer de la descente de gradient stochastique (SGD). SGD met à jour les poids du modèle à l’aide d’un taux d’apprentissage fixe et est souvent privilégié lors des dernières étapes de l’entraînement de modèles de [détection d’objets](https://ultralytics-translation-1.invalid de pointe, car il peut parfois atteindre une généralisation légèrement meilleure (précision finale) sur les données de test.

Cependant, Adam est « adaptatif », ce qui signifie qu’il gère automatiquement le réglage du taux d’apprentissage. Cela le rend beaucoup plus facile à utiliser pour les expériences initiales et les architectures complexes, pour lesquelles le réglage de SGD serait difficile. Pour les utilisateurs qui gèrent leurs expériences sur la plateforme Ultralytics, alterner entre ces optimiseurs pour comparer leurs performances constitue souvent une étape clé du réglage des hyperparamètres.

Implémentation avec Ultralytics#

Les frameworks modernes comme PyTorch et la bibliothèque Ultralytics facilitent l’utilisation d’Adam. Une variante populaire appelée AdamW (Adam avec décroissance des poids) est souvent recommandée, car elle corrige les problèmes de régularisation de l’algorithme Adam original. Elle est particulièrement efficace pour les architectures les plus récentes comme YOLO26, qui bénéficie de la stabilité fournie par AdamW.

L’exemple suivant montre comment entraîner un modèle Ultralytics YOLO26 avec l’optimiseur AdamW :

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Pour les développeurs qui souhaitent approfondir les fondements théoriques, des ressources comme les notes d’optimisation de Stanford CS231n fournissent d’excellentes visualisations comparant Adam à d’autres algorithmes comme RMSProp et AdaGrad. De plus, la documentation de l’optimiseur PyTorch présente des détails techniques sur les arguments et les spécificités d’implémentation disponibles pour la personnalisation.