Adam Optimizer

Der Adam-Optimierer, kurz für Adaptive Moment Estimation, ist ein ausgeklügelter optimization algorithm, der häufig zum Trainieren von Modellen des Deep Learnings verwendet wird. Er revolutionierte das Feld, indem er die Vorteile zweier anderer beliebter Erweiterungen des stochastic gradient descent (SGD) kombinierte: des Adaptive Gradient Algorithm (AdaGrad) und von Root Mean Square Propagation (RMSProp). Indem er individuelle adaptive learning rates für verschiedene Parameter aus Schätzungen der ersten und zweiten Momente der Gradienten berechnet, ermöglicht es Adam neural networks, deutlich schneller zu konvergieren als traditionelle Methoden. Seine Robustheit und der minimale Abstimmungsaufwand machen ihn zur Standardwahl für viele Praktiker, die ein neues machine learning (ML)-Projekt starten.

Wie Adam funktioniert#

Im Kern besteht das Training eines Modells darin, eine loss function zu minimieren, die den Unterschied zwischen den Vorhersagen des Modells und den tatsächlichen Daten misst. Standardalgorithmen verwenden typischerweise eine konstante Schrittgröße (Lernrate), um die „Loss-Landschaft“ in Richtung des minimalen Fehlers abzusteigen. Diese Landschaft ist jedoch oft komplex und weist Schluchten und Plateaus auf, die einfachere Algorithmen einfangen können.

Adam begegnet dem, indem er für jeden Parameter zwei historische Puffer beibehält:

1. Momentum (erstes Moment): Ähnlich wie ein schwerer Ball, der einen Hügel hinunterrollt, verfolgt dies den gleitenden Durchschnitt vergangener Gradienten, um die Geschwindigkeit in der relevanten Richtung beizubehalten.

2. Varianz (zweites Moment): Dies verfolgt den gleitenden Durchschnitt der quadrierten Gradienten, was die Lernrate skaliert.

Diese Kombination ermöglicht es dem Optimierer, in flachen Bereichen der Landschaft größere Schritte und in steilen oder rauschbehafteten Bereichen kleinere, vorsichtigere Schritte zu machen. Die spezifischen Abläufe werden in dem grundlegenden Adam research paper by Kingma and Ba detailliert beschrieben, welches seine empirische Überlegenheit bei verschiedenen deep learning (DL)-Aufgaben nachwies.

Praxisanwendungen#

Die Vielseitigkeit des Adam-Optimierers hat zu seiner Einführung in praktisch allen Bereichen der artificial intelligence (AI) geführt.

• Natural Language Processing (NLP): Große Sprachmodelle wie Generative Pre-trained Transformers (GPT) stützen sich stark auf Adam (oder seine Variante AdamW) für das Training. Der Algorithmus verarbeitet die spärlichen Gradienten im Zusammenhang mit riesigen Vokabularen und massiven Datensätzen effizient und ermöglicht so die Erstellung leistungsstarker chatbots und Übersetzungssysteme.
• Computer Vision im Gesundheitswesen: Bei der medical image analysis müssen Modelle subtile Anomalien wie Tumoren in MRT-Scans erkennen. Adam hilft convolutional neural networks (CNNs) dabei, schnell zu hochpräzisen Lösungen zu konvergieren, was bei der Entwicklung von Diagnosewerkzeugen für AI in Healthcare von entscheidender Bedeutung ist.

Adam vs. SGD#

Obwohl Adam im Allgemeinen schneller konvergiert, ist es wichtig, ihn von Stochastic Gradient Descent (SGD) zu unterscheiden. SGD aktualisiert model weights mit einer festen Lernrate und wird oft für die finalen Phasen des Trainings modernster object detection-Modelle bevorzugt, da es manchmal eine etwas bessere Generalisierung (Endgenauigkeit) bei Testdaten erzielen kann.

Adam ist jedoch „adaptiv“, was bedeutet, dass er die Abstimmung der Lernrate automatisch übernimmt. Das macht ihn viel benutzerfreundlicher für initiale Experimente und komplexe Architekturen, bei denen das Tuning von SGD schwierig wäre. Für Benutzer, die Experimente auf der Ultralytics Platform verwalten, ist der Wechsel zwischen diesen Optimierern zum Vergleichen der Leistung oft ein entscheidender Schritt beim hyperparameter tuning.

Implementierung mit Ultralytics#

Moderne Frameworks wie PyTorch und die Ultralytics-Bibliothek machen die Verwendung von Adam unkompliziert. Eine beliebte Variante namens AdamW (Adam mit Weight Decay) wird oft empfohlen, da sie Probleme mit der Regularisierung im ursprünglichen Adam-Algorithmus behebt. Dies ist besonders effektiv für neueste Architekturen wie YOLO26, die von der Stabilität profitieren, die AdamW bietet.

Das folgende Beispiel zeigt, wie du ein Ultralytics YOLO26-Modell mit dem AdamW-Optimierer trainierst:

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Für Entwickler, die sich für die tieferen theoretischen Hintergründe interessieren, bieten Ressourcen wie die Stanford CS231n Optimization Notes hervorragende Visualisierungen darüber, wie sich Adam im Vergleich zu anderen Algorithmen wie RMSProp und AdaGrad verhält. Darüber hinaus bietet die PyTorch Optimizer Documentation technische Details zu den Argumenten und Implementierungsspezifika, die zur Anpassung verfügbar sind.