Learning Rate

Die Lernrate ist eine entscheidende Konfiguration für das Abstimmen von Hyperparametern, die die Schrittweite bestimmt, mit der sich ein Modell während des Optimierungsprozesses bewegt. Beim Training eines neuronalen Netzes steuert sie, wie stark die internen Gewichte des Modells als Reaktion auf den geschätzten Fehler aktualisiert werden, wenn das Modell jeweils ein Datenstapel verarbeitet. Stell dir vor, eine Person geht einen Berg hinunter auf ein Tal zu, den tiefsten Punkt des Fehlers: Die Lernrate bestimmt die Länge ihrer Schritte. Sind die Schritte zu groß, kann sie das Tal vollständig überspringen und den tiefsten Punkt verfehlen. Sind die Schritte zu klein, kann das Erreichen des Ziels unverhältnismäßig lange dauern.

Das Goldlöckchen-Dilemma bei der Optimierung#

Die Suche nach der optimalen Lernrate wird in Workflows des maschinellen Lernens oft als Balanceakt beschrieben. Ziel ist es, die Verlustfunktion zu minimieren, die den Unterschied zwischen den Vorhersagen des Modells und den tatsächlichen Ground-Truth-Werten misst. Dieser Prozess stützt sich stark auf einen Optimierungsalgorithmus wie den stochastischen Gradientenabstieg (SGD) oder den Adam-Optimierer, um sich durch die Verlustlandschaft zu bewegen.

• Lernrate zu hoch: Ist der Wert zu hoch eingestellt, fallen die Aktualisierungen der Modellgewichte drastisch aus. Dies kann zum sogenannten „Überschießen“ führen, bei dem das Modell keine Lösung findet, sondern stattdessen stark oszilliert oder divergiert. Diese Instabilität kann manchmal ein Problem mit einem explodierenden Gradienten auslösen und den Trainingsprozess unbrauchbar machen.
• Lernrate zu niedrig: Umgekehrt sorgt eine extrem kleine Schrittweite dafür, dass sich das Modell vorsichtig auf das Minimum zubewegt. Sie kann jedoch zu Underfitting führen, weil der Trainingsprozess quälend langsam wird. Das Modell kann effektiv in einem lokalen Minimum stecken bleiben oder Tausende zusätzliche Epochen benötigen, um einfache Muster zu lernen, wodurch Rechenressourcen verschwendet werden. Forschende ziehen häufig die PyTorch-Dokumentation zur Optimierung zu Rate, um zu verstehen, wie verschiedene Algorithmen mit diesen Werten interagieren.

Anwendungen in der Praxis#

Die Auswirkungen von Anpassungen der Lernrate zeigen sich in verschiedenen Branchen mit hohen Anforderungen, in denen Aufgaben der Computer Vision eingesetzt werden.

1. Systeme für autonomes Fahren: Bei der Entwicklung autonomer Fahrzeuge verwenden Ingenieurinnen und Ingenieure umfangreiche Datensätze, um Modelle für die Objekterkennung zu trainieren, damit diese Fußgänger und Verkehrsschilder erkennen. Bei der Anwendung von Transfer-Learning auf ein vortrainiertes Modell wie YOLO26 verwenden Entwicklerinnen und Entwickler in der Regel eine deutlich niedrigere Lernrate als beim ursprünglichen Training. Dieses „Feintuning“ stellt sicher, dass das Modell die Besonderheiten bestimmter Fahrumgebungen (z. B. verschneite Straßen im Vergleich zu Wüstenautobahnen) lernt, ohne die bereits vorhandenen allgemeinen Fähigkeiten zur Merkmalsextraktion zu überschreiben.

2. Medizinische diagnostische Bildgebung: Bei der Analyse medizinischer Bilder, etwa zur Erkennung von Tumoren in MRT-Aufnahmen, ist Präzision von größter Bedeutung. Eine hohe Lernrate birgt hier das Risiko, dass das Modell subtile Texturunterschiede überspringt, die bösartiges von gutartigem Gewebe unterscheiden. Praktizierende setzen häufig eine Technik namens „Warmup der Lernrate“ ein, bei der die Rate schrittweise von null auf einen Zielwert erhöht wird, um die frühen Trainingsphasen zu stabilisieren. Dadurch können sich die Gewichte des neuronalen Netzes in einer stabilen Konfiguration einpendeln, bevor ein aggressiveres Lernen beginnt. Mehr über diese Strategien erfährst du im Google-Kurs „Crashkurs für maschinelles Lernen“.

Unterscheidung verwandter Begriffe#

Es ist wichtig, die Lernrate von anderen Trainingsparametern zu unterscheiden, da sie oft in denselben Konfigurationsdateien festgelegt werden, aber unterschiedlichen Zwecken dienen:

• Lernrate im Vergleich zur Stapelgröße: Während die Lernrate die Größenordnung der Aktualisierung steuert, bestimmt die Stapelgröße, wie viele Trainingsbeispiele vor einer Aktualisierung verarbeitet werden. Zwischen beiden besteht ein enger Zusammenhang: Wenn die Stapelgröße erhöht wird, muss häufig auch die Lernrate entsprechend skaliert werden, um die Trainingseffizienz aufrechtzuerhalten. Dieses Konzept wird in Fachartikeln zum Training mit großen Stapeln untersucht.
• Lernrate im Vergleich zur Abklingrate: Abklingrate bezeichnet eine Strategie, bei der die Lernrate im Laufe der Zeit systematisch reduziert wird. Ein Scheduler kann die Rate beispielsweise alle 30 Epochen um den Faktor 10 senken. So kann das Modell zunächst große konzeptionelle Schritte machen und anschließend seine Genauigkeit gegen Ende des Trainings mit kleineren Schritten verfeinern. Dies ist eine Standardfunktion im Ultralytics-Python-Paket.

Lernrate in Ultralytics YOLO festlegen#

Bei der Verwendung moderner Frameworks kannst du die anfängliche Lernrate (lr0) und den Bruchteil der abschließenden Lernrate (lrf) problemlos anpassen. Unten siehst du ein Beispiel für die Konfiguration mit dem mit der Ultralytics Platform kompatiblen Client für einen benutzerdefinierten Trainingslauf.

from ultralytics import YOLO

# Load the YOLO26 model (latest state-of-the-art architecture)
model = YOLO("yolo26n.pt")

# Train the model with a custom initial learning rate
# lr0=0.01 sets the initial rate
# lrf=0.01 sets the final learning rate to (lr0 * lrf)
results = model.train(data="coco8.yaml", epochs=10, lr0=0.01, lrf=0.01)

Fortgeschrittene Anwender können Techniken wie den LR Finder, der durch fast.ai bekannt wurde, einsetzen, um die Ermittlung des besten Ausgangswerts im Wesentlichen zu automatisieren. Dazu wird eine kurze Testepoche ausgeführt, in der die Rate exponentiell erhöht wird, bis der Verlust divergiert. Die Beherrschung dieses Hyperparameters ist oft der entscheidende Schlüssel zu SOTA-Leistung (Stand der Technik) in deinen KI-Projekten.