Adam Optimizer

Der Adam optimizer, kurz für Adaptive Moment Estimation, ist ein ausgefeilter Optimierungsalgorithmus, der häufig zum Trainieren von Deep-Learning-Modellen verwendet wird. Er revolutionierte das Feld, indem er die Vorteile zweier anderer beliebter Erweiterungen des stochastischen Gradientenabstiegs (SGD) kombinierte: den Adaptive Gradient Algorithm (AdaGrad) und Root Mean Square Propagation (RMSProp). Indem Adam individuelle adaptive Lernraten für verschiedene Parameter aus Schätzungen der ersten und zweiten Momente der Gradienten berechnet, ermöglicht er es neuronalen Netzwerken, deutlich schneller zu konvergieren als mit herkömmlichen Methoden. Seine Robustheit und die minimalen Anforderungen an die Feinabstimmung machen ihn zur Standardwahl für viele Anwender, die ein neues Machine Learning (ML)-Projekt starten.

Link to this sectionWie Adam funktioniert#

Im Kern besteht das Training eines Modells darin, eine Verlustfunktion zu minimieren, die den Unterschied zwischen den Vorhersagen des Modells und den tatsächlichen Daten misst. Standardalgorithmen verwenden normalerweise eine konstante Schrittweite (Lernrate), um die „Verlustlandschaft“ in Richtung des minimalen Fehlers zu durchlaufen. Diese Landschaft ist jedoch oft komplex und weist Schluchten und Plateaus auf, in denen einfachere Algorithmen stecken bleiben können.

Adam begegnet dem, indem er für jeden Parameter zwei historische Puffer beibehält:

1. Momentum (erstes Moment): Ähnlich wie ein schwerer Ball, der einen Hügel hinunterrollt, verfolgt dies den gleitenden Durchschnitt vergangener Gradienten, um die Geschwindigkeit in der relevanten Richtung beizubehalten.

2. Varianz (zweites Moment): Dies verfolgt den gleitenden Durchschnitt der quadrierten Gradienten, was die Lernrate skaliert.

Diese Kombination ermöglicht es dem Optimizer, in flachen Bereichen der Landschaft größere Schritte und in steilen oder verrauschten Bereichen kleinere, vorsichtigere Schritte zu machen. Die spezifischen Mechanismen werden im grundlegenden Adam-Forschungspapier von Kingma und Ba detailliert beschrieben, das seine empirische Überlegenheit bei verschiedenen Deep Learning (DL)-Aufgaben demonstrierte.

Link to this sectionPraxisanwendungen#

Die Vielseitigkeit des Adam optimizer hat zu seiner Einführung in praktisch allen Sektoren der künstlichen Intelligenz (AI) geführt.

• Natural Language Processing (NLP): Große Sprachmodelle wie Generative Pre-trained Transformers (GPT) verlassen sich beim Training stark auf Adam (oder seine Variante AdamW). Der Algorithmus geht effizient mit den spärlichen Gradienten um, die mit riesigen Vokabularen und massiven Datensätzen verbunden sind, und ermöglicht so die Erstellung leistungsstarker Chatbots und Übersetzungssysteme.
• Computer Vision im Gesundheitswesen: Bei der medizinischen Bildanalyse müssen Modelle subtile Anomalien wie Tumore in MRT-Scans erkennen. Adam hilft konvolutiven neuronalen Netzwerken (CNNs), schnell zu Lösungen mit hoher Genauigkeit zu konvergieren, was bei der Entwicklung von Diagnosewerkzeugen für AI im Gesundheitswesen entscheidend ist.

Link to this sectionAdam vs. SGD#

Obwohl Adam im Allgemeinen schneller konvergiert, ist es wichtig, ihn von Stochastic Gradient Descent (SGD) zu unterscheiden. SGD aktualisiert Modellgewichte mit einer festen Lernrate und wird oft für die letzten Phasen des Trainings von modernsten Objekterkennungsmodellen bevorzugt, da es manchmal eine etwas bessere Generalisierung (Endgenauigkeit) bei Testdaten erzielen kann.

Adam ist jedoch „adaptiv“, was bedeutet, dass er die Einstellung der Lernrate automatisch übernimmt. Dies macht ihn viel benutzerfreundlicher für erste Experimente und komplexe Architekturen, bei denen das Tuning von SGD schwierig wäre. Für Benutzer, die Experimente auf der Ultralytics Platform verwalten, ist der Wechsel zwischen diesen Optimizern zum Vergleich der Leistung oft ein entscheidender Schritt beim Hyperparameter-Tuning.

Link to this sectionImplementierung mit Ultralytics#

Moderne Frameworks wie PyTorch und die Ultralytics-Bibliothek machen die Verwendung von Adam unkompliziert. Eine beliebte Variante namens AdamW (Adam with Weight Decay) wird oft empfohlen, da sie Probleme mit der Regularisierung im ursprünglichen Adam-Algorithmus behebt. Dies ist besonders effektiv für die neuesten Architekturen wie YOLO26, die von der Stabilität profitieren, die AdamW bietet.

Das folgende Beispiel zeigt, wie ein YOLO26-Modell mit dem AdamW-Optimizer trainiert wird:

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Für Entwickler, die sich für die tieferen theoretischen Hintergründe interessieren, bieten Ressourcen wie die Stanford CS231n Optimization Notes hervorragende Visualisierungen, wie Adam im Vergleich zu anderen Algorithmen wie RMSProp und AdaGrad abschneidet. Zusätzlich bietet die PyTorch Optimizer Documentation technische Details zu den Argumenten und Implementierungsspezifika, die zur Anpassung zur Verfügung stehen.