Optimization Algorithm

Ein Optimierungsalgorithmus dient als zentrale Rechenkomponente, die den Trainingsprozess von Modellen des maschinellen Lernens (ML) und Deep-Learning-Modellen (DL) steuert. Seine Hauptaufgabe besteht darin, die internen Modellgewichte und Verzerrungen iterativ anzupassen, um den Fehler zwischen vorhergesagten Ergebnissen und tatsächlichen Zielwerten zu minimieren. Du kannst dir diesen Prozess wie einen Wanderer vorstellen, der versucht, einen nebligen Berg hinabzusteigen, um den tiefsten Punkt im Tal zu erreichen. Der Optimierungsalgorithmus fungiert als Wegweiser und bestimmt die Richtung sowie die Schrittweite, mit der der Wanderer den Talgrund erreicht. Dieser entspricht dem Zustand, in dem die Verlustfunktion minimiert und die Vorhersage-Genauigkeit des Modells maximiert wird.

Funktionsweise von Optimierungsalgorithmen#

Das Training eines neuronalen Netzes umfasst einen wiederholten Zyklus aus Vorhersage, Fehlerberechnung und Parameteraktualisierung. Der Optimierungsalgorithmus steuert die Phase der „Aktualisierung“ in diesem Ablauf. Sobald ein Stapel von Trainingsdaten verarbeitet wurde, berechnet das System mithilfe einer Methode namens Backpropagation einen Gradienten – einen Vektor, der in die Richtung des steilsten Fehleranstiegs zeigt.

Der Optimierer aktualisiert die Modellparameter anschließend in die entgegengesetzte Richtung des Gradienten, um den Fehler zu reduzieren. Die Größe dieser Aktualisierung wird durch einen wichtigen Hyperparameter bestimmt, der als Lernrate bezeichnet wird. Ist der Schritt zu groß, kann das Modell das globale Minimum überschreiten; ist er zu klein, kann das Training unvertretbar langsam werden oder in einem lokalen Minimum stecken bleiben. Vertiefende Ressourcen wie die Optimierungsnotizen zu Stanford CS231n bieten detailliertere technische Einblicke in diese Zusammenhänge.

Gängige Arten von Optimierungsalgorithmen#

Unterschiedliche Probleme erfordern unterschiedliche Strategien. Zwar gibt es zahlreiche Varianten, doch einige zentrale Algorithmen bestimmen die moderne KI-Entwicklung:

• Stochastischer Gradientenabstieg (SGD): Ein klassischer Ansatz, der Parameter anhand eines einzelnen Beispiels oder eines kleinen Stapel s statt anhand des gesamten Datensatzes aktualisiert. Diese Methode ist recheneffizient und wird häufig in Bibliotheken wie Scikit-learn eingesetzt.
• Adam-Optimierer: Adam steht für adaptive Momentenschätzung und passt die Lernrate für jeden Parameter individuell an. Der Optimierer wird in der wegweisenden Forschungsarbeit zu Adam von Kingma und Ba ausführlich beschrieben und aufgrund seiner Geschwindigkeit und Konvergenzeigenschaften häufig als Standard für allgemeines Training verwendet.
• AdamW: Eine Variante von Adam, die die Gewichtsabnahme von der Gradientenaktualisierung entkoppelt und dadurch eine bessere Generalisierung ermöglicht. Dieser Optimierer wird häufig für das Training hochmoderner Architekturen wie Transformers und der leistungsstarken Ultralytics YOLO26-Modelle bevorzugt.

Anwendungen in der Praxis#

Optimierungsalgorithmen arbeiten im Hintergrund nahezu jeder erfolgreichen KI-Lösung und wandeln Daten in umsetzbare Erkenntnisse um.

1. Autonome Fahrzeuge: In der Technologie für autonomes Fahren müssen Systeme zur Objekterkennung Fußgänger, Ampeln und andere Fahrzeuge sofort erkennen. Beim Training dieser Systeme für KI im Automobilbereich verarbeitet ein Optimierungsalgorithmus Millionen von Straßenbildern und stimmt das Netzwerk so ab, dass Erkennungsfehler minimiert werden. Dadurch hält das Fahrzeug zuverlässig an, wenn es eine Person erkennt, und verhindert Unfälle.

2. Medizinische Bildanalyse: Bei Anwendungen der KI im Gesundheitswesen, etwa zur Erkennung von Tumoren in MRT-Aufnahmen, ist Präzision unverzichtbar. Optimierer steuern das Training faltender neuronaler Netze (CNNs), damit diese bösartiges Gewebe mit hoher Sensitivität von gesundem Gewebe unterscheiden und so das Risiko falsch-negativer Ergebnisse bei kritischen Diagnosen reduzieren.

Verwandte Konzepte unterscheiden#

Um den Ablauf richtig zu verstehen, ist es wichtig, den Optimierungsalgorithmus von anderen Komponenten des Lernprozesses zu unterscheiden.

• Optimierungsalgorithmus im Vergleich zur Verlustfunktion: Die Verlustfunktion dient als „Punktestand“ und berechnet einen numerischen Wert, etwa den mittleren quadratischen Fehler, der angibt, wie stark die Vorhersagen des Modells von den tatsächlichen Werten abweichen. Der Optimierungsalgorithmus ist der „Stratege“, der diesen Wert verwendet, um die Gewichte anzupassen und die Leistung in der nächsten Runde zu verbessern.
• Optimierungsalgorithmus im Vergleich zur Hyperparameteroptimierung: Der Optimierungsalgorithmus lernt interne Parameter (Gewichte) während der Trainingsschleifen. Bei der Hyperparameteroptimierung werden die besten externen Einstellungen ausgewählt – etwa der Optimierer selbst, die Stapelgröße oder die anfängliche Lernrate – und zwar bevor das Training beginnt. Automatisierte Werkzeuge wie Ray Tune werden häufig eingesetzt, um die optimale Kombination dieser externen Einstellungen zu finden.

Optimierung in Python implementieren#

In modernen Frameworks erfolgt die Auswahl eines Optimierungsalgorithmus häufig über ein einzelnes Argument. Das folgende Beispiel zeigt, wie du ein YOLO26-Modell mit dem Optimierer AdamW im Paket ultralytics trainierst. Du kannst auch die Ultralytics Platform nutzen, um diese Trainingssitzungen ohne Programmierung zu verwalten.

from ultralytics import YOLO

# Load the latest YOLO26 model (recommended for new projects)
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimization algorithm
# The optimizer iteratively updates weights to minimize loss on the dataset
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Wenn du dich für die Mechanismen auf niedrigerer Ebene interessierst, bieten Frameworks wie PyTorch Optimizers und TensorFlow Keras Optimizers eine umfassende Dokumentation zur Implementierung und Anpassung dieser Algorithmen für benutzerdefinierte Forschungsarchitekturen.