Adam Optimizer

L'optimiseur Adam, abréviation d'Adaptive Moment Estimation, est un algorithme d'optimisation sophistiqué largement utilisé pour entraîner des modèles d'apprentissage profond. Il a révolutionné le domaine en combinant les avantages de deux autres extensions populaires de la descente de gradient stochastique (SGD) : l'Adaptive Gradient Algorithm (AdaGrad) et la Root Mean Square Propagation (RMSProp). En calculant des taux d'apprentissage adaptatifs individuels pour différents paramètres à partir d'estimations des premier et second moments des gradients, Adam permet aux réseaux de neurones de converger nettement plus rapidement que les méthodes traditionnelles. Sa robustesse et ses besoins minimaux en réglages en font le choix par défaut pour de nombreux praticiens entamant un nouveau projet de machine learning (ML).

Link to this sectionComment fonctionne Adam#

Fondamentalement, entraîner un modèle implique de minimiser une fonction de perte, qui mesure la différence entre les prédictions du modèle et les données réelles. Les algorithmes standards utilisent généralement une taille de pas constante (taux d'apprentissage) pour descendre le « paysage de perte » vers l'erreur minimale. Cependant, ce paysage est souvent complexe, présentant des ravins et des plateaux capables de piéger des algorithmes plus simples.

Adam résout ce problème en conservant deux tampons historiques pour chaque paramètre :

1. Momentum (Premier moment) : Semblable à une boule lourde dévalant une colline, il suit la moyenne mobile des gradients passés pour maintenir une vitesse dans la direction pertinente.

2. Variance (Second moment) : Il suit la moyenne mobile des gradients au carré, ce qui permet de mettre à l'échelle le taux d'apprentissage.

Cette combinaison permet à l'optimiseur d'effectuer de plus grands pas dans les zones plates du paysage et des pas plus petits et prudents dans les zones escarpées ou bruitées. Les mécanismes spécifiques sont détaillés dans le document de recherche fondateur sur Adam par Kingma et Ba, qui a démontré sa supériorité empirique sur diverses tâches d'apprentissage profond (DL).

Link to this sectionApplications concrètes#

La polyvalence de l'optimiseur Adam a conduit à son adoption dans pratiquement tous les secteurs de l'intelligence artificielle (IA).

• Traitement du langage naturel (NLP) : Les grands modèles de langage, tels que les Generative Pre-trained Transformers (GPT), reposent largement sur Adam (ou sa variante AdamW) pour leur entraînement. L'algorithme gère efficacement les gradients creux associés aux vastes vocabulaires et aux jeux de données massifs, permettant la création de puissants chatbots et systèmes de traduction.
• Vision par ordinateur dans le secteur de la santé : Dans l'analyse d'images médicales, les modèles doivent détecter des anomalies subtiles comme des tumeurs dans les IRM. Adam aide les réseaux de neurones convolutifs (CNN) à converger rapidement vers des solutions de haute précision, ce qui est crucial lors du développement d'outils de diagnostic pour l'IA dans le secteur de la santé.

Link to this sectionAdam vs. SGD#

Bien qu'Adam soit généralement plus rapide à converger, il est important de le distinguer de la Stochastic Gradient Descent (SGD). La SGD met à jour les poids du modèle en utilisant un taux d'apprentissage fixe et est souvent préférée pour les étapes finales de l'entraînement de modèles de détection d'objets de pointe, car elle peut parfois obtenir une généralisation légèrement meilleure (précision finale) sur les données de test.

Cependant, Adam est « adaptatif », ce qui signifie qu'il gère automatiquement le réglage du taux d'apprentissage. Cela le rend beaucoup plus convivial pour les expériences initiales et les architectures complexes où le réglage de la SGD serait difficile. Pour les utilisateurs gérant des expériences sur l'Ultralytics Platform, basculer entre ces optimiseurs pour comparer les performances est souvent une étape clé du réglage des hyperparamètres.

Link to this sectionImplémentation avec Ultralytics#

Des frameworks modernes comme PyTorch et la bibliothèque Ultralytics rendent l'utilisation d'Adam simple. Une variante populaire appelée AdamW (Adam avec Weight Decay) est souvent recommandée car elle corrige les problèmes de régularisation de l'algorithme Adam original. C'est particulièrement efficace pour les dernières architectures comme YOLO26, qui bénéficie de la stabilité offerte par AdamW.

L'exemple suivant montre comment entraîner un modèle YOLO26 en utilisant l'optimiseur AdamW :

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Pour les développeurs intéressés par les fondements théoriques plus approfondis, des ressources comme les Notes sur l'optimisation CS231n de Stanford fournissent d'excellentes visualisations de la façon dont Adam se compare à d'autres algorithmes comme RMSProp et AdaGrad. De plus, la documentation des optimiseurs de PyTorch offre des détails techniques sur les arguments et les spécificités de mise en œuvre disponibles pour la personnalisation.