Adam Optimizer

L'optimiseur Adam, abréviation d'Adaptive Moment Estimation, est un optimization algorithm sophistiqué largement utilisé pour entraîner des modèles de deep learning. Il a révolutionné le domaine en combinant les avantages de deux autres extensions populaires de la stochastic gradient descent (SGD) : l'Adaptive Gradient Algorithm (AdaGrad) et le Root Mean Square Propagation (RMSProp). En calculant des learning rates adaptatifs individuels pour différents paramètres à partir d'estimations des premier et deuxième moments des gradients, Adam permet aux neural networks de converger beaucoup plus rapidement que les méthodes traditionnelles. Sa robustesse et ses besoins minimes en matière de réglage en font le choix par défaut pour de nombreux praticiens qui débutent un nouveau projet de machine learning (ML).

Comment fonctionne Adam#

Dans sa forme fondamentale, l'entraînement d'un modèle implique la minimisation d'une loss function, qui mesure la différence entre les prédictions du modèle et les données réelles. Les algorithmes standards utilisent généralement une taille de pas constante (learning rate) pour descendre le « paysage de perte » vers l'erreur minimale. Cependant, ce paysage est souvent complexe, présentant des ravins et des plateaux qui peuvent piéger les algorithmes plus simples.

Adam résout ce problème en conservant deux tampons historiques pour chaque paramètre :

1. Momentum (Premier moment) : Semblable à une boule lourde dévalant une colline, il suit la moyenne mobile des gradients passés pour maintenir une vitesse dans la direction pertinente.

2. Variance (Second moment) : Il suit la moyenne mobile des gradients au carré, ce qui permet de mettre à l'échelle le taux d'apprentissage.

Cette combinaison permet à l'optimiseur d'effectuer des pas plus importants dans les zones plates du paysage et des pas plus petits et prudents dans les zones abruptes ou bruitées. Les mécanismes spécifiques sont détaillés dans le Adam research paper by Kingma and Ba de référence, qui a démontré sa supériorité empirique sur diverses tâches de deep learning (DL).

Applications concrètes#

La polyvalence de l'optimiseur Adam a conduit à son adoption dans pratiquement tous les secteurs de l'artificial intelligence (AI).

• Natural Language Processing (NLP) : Les grands modèles de langage, tels que les Generative Pre-trained Transformers (GPT), reposent fortement sur Adam (ou sa variante AdamW) pour l'entraînement. L'algorithme traite efficacement les gradients parcimonieux associés à de vastes vocabulaires et à des ensembles de données massifs, permettant la création de chatbots puissants et de systèmes de traduction.
• Computer Vision en santé : Dans l'medical image analysis, les modèles doivent détecter des anomalies subtiles telles que des tumeurs dans des examens IRM. Adam aide les convolutional neural networks (CNNs) à converger rapidement vers des solutions de haute précision, ce qui est crucial lors du développement d'outils de diagnostic pour l'AI in Healthcare.

Adam vs. SGD#

Bien qu'Adam converge généralement plus rapidement, il est important de le distinguer de la Stochastic Gradient Descent (SGD). La SGD met à jour les model weights en utilisant un learning rate fixe et est souvent privilégiée pour les étapes finales de l'entraînement de modèles de object detection de pointe, car elle peut parfois offrir une meilleure généralisation (précision finale) sur les données de test.

Cependant, Adam est « adaptatif », ce qui signifie qu'il gère automatiquement le réglage du learning rate. Cela le rend beaucoup plus simple d'utilisation pour les expériences initiales et les architectures complexes où le réglage de la SGD serait difficile. Pour les utilisateurs gérant des expériences sur la Ultralytics Platform, passer d'un optimiseur à l'autre pour comparer les performances est souvent une étape clé du hyperparameter tuning.

Implémentation avec Ultralytics#

Les frameworks modernes comme PyTorch et la bibliothèque Ultralytics rendent l'utilisation d'Adam simple. Une variante populaire appelée AdamW (Adam avec weight decay) est souvent recommandée car elle corrige les problèmes de régularisation de l'algorithme Adam d'origine. C'est particulièrement efficace pour les architectures les plus récentes comme YOLO26, qui bénéficient de la stabilité offerte par AdamW.

L'exemple suivant montre comment entrainer un modele Ultralytics YOLO26 en utilisant l'optimiseur AdamW :

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Pour les développeurs intéressés par les fondements théoriques plus profonds, des ressources comme les Stanford CS231n Optimization Notes offrent d'excellentes visualisations de la façon dont Adam se compare à d'autres algorithmes comme RMSProp et AdaGrad. De plus, la PyTorch Optimizer Documentation fournit des détails techniques sur les arguments et les spécificités d'implémentation disponibles pour la personnalisation.