Hyperparameter Tuning

Die Hyperparameter-Optimierung ist ein iterativer Prozess zur Optimierung der externen Konfigurationsvariablen, die den Trainingsprozess eines Modells für maschinelles Lernen (ML) steuern. Im Gegensatz zu internen Parametern wie Gewichten und Verzerrungen, die während des Trainings aus den Daten gelernt werden, werden Hyperparameter vom Datenwissenschaftler oder Ingenieur festgelegt, bevor der Lernprozess beginnt. Diese Einstellungen steuern die Struktur des Modells und das Verhalten des Algorithmus und dienen als „Regler und Stellschrauben“ zur Feinabstimmung der Leistung. Die ideale Kombination dieser Werte zu finden, ist entscheidend, um Metriken wie Genauigkeit und Effizienz zu maximieren, und macht oft den Unterschied zwischen einem mittelmäßigen Modell und einer hochmodernen Lösung aus.

Grundlegende Konzepte und Techniken#

Die Gesamtheit aller möglichen Hyperparameterkombinationen bildet einen hochdimensionalen Suchraum. Fachleute verwenden verschiedene Strategien, um diesen Raum zu durchsuchen und die optimale Konfiguration zu finden, die die Verlustfunktion minimiert.

• Gittersuche: Bei dieser erschöpfenden Methode wird das Modell für jede angegebene Parameterkombination in einem Raster ausgewertet. Obwohl sie gründlich ist, ist sie rechenintensiv und leidet bei vielen Variablen unter dem Fluch der Dimensionalität.
• Zufallssuche: Statt jede Kombination zu testen, wählt diese Methode zufällige Hyperparameterkombinationen aus. Forschungsergebnisse legen nahe, dass sie oft effizienter als die Gittersuche ist, da sie den Suchraum im Hinblick auf die einflussreichsten Parameter effektiver erkundet.
• Bayessche Optimierung: Dieser probabilistische Ansatz erstellt ein Ersatzmodell, um auf Grundlage vergangener Auswertungen vorherzusagen, welche Hyperparameter die besten Ergebnisse liefern, und konzentriert die Suche auf die vielversprechendsten Bereiche.
• Evolutionsalgorithmen: Diese von der biologischen Evolution inspirierte Methode verwendet Mechanismen wie Mutation und Rekombination, um eine Population von Konfigurationen über mehrere Generationen hinweg weiterzuentwickeln. Dies ist die primäre Methode, die von der Bibliothek ultralytics zur Optimierung moderner Architekturen wie YOLO26 verwendet wird.

Hyperparameter-Optimierung im Vergleich zum Modelltraining#

Es ist wichtig, zwischen Optimierung und Training zu unterscheiden, da sie unterschiedliche Phasen im Lebenszyklus von MLOps darstellen:

• Modelltraining: Der Prozess, bei dem der Algorithmus Trainingsdaten durchläuft, um mithilfe von Backpropagation interne Parameter zu lernen. Ziel ist es, den Fehler im Trainingsdatensatz zu minimieren.
• Hyperparameter-Optimierung: Der Metaprozess zur Auswahl von Betriebseinstellungen wie Lernrate, Batchgröße und Momentum, bevor das Training beginnt. Ziel ist es, die Leistung auf Validierungsdaten zu maximieren, um Überanpassung zu verhindern.

Anwendungen in der Praxis#

Effektiv optimierte Modelle sind entscheidend für die Bereitstellung robuster Lösungen in komplexen Umgebungen.

Präzisionslandwirtschaft#

Im Bereich KI in der Landwirtschaft verwenden autonome Drohnen Computer Vision, um Unkraut und Pflanzenkrankheiten zu erkennen. Diese Modelle laufen häufig auf Edge-Geräten mit begrenzter Akkulaufzeit. Ingenieure nutzen die Hyperparameter-Optimierung, um die Pipeline zur Datenerweiterung und die Eingangsauflösung zu optimieren und sicherzustellen, dass das Modell hohe Inferenzgeschwindigkeiten mit der nötigen Präzision verbindet, damit nur das Unkraut besprüht wird und der Chemikalienverbrauch sinkt.

Medizinische Diagnostik#

Im Bereich KI im Gesundheitswesen, insbesondere bei der medizinischen Bildanalyse, kann ein falsch negatives Ergebnis schwerwiegende Folgen haben. Beim Training von Modellen zur Erkennung von Anomalien in MRT-Aufnahmen optimieren Fachleute Hyperparameter im Zusammenhang mit der Klassengewichtung und dem Focal Loss besonders intensiv. Diese Optimierung maximiert den Recall und stellt sicher, dass selbst subtile Anzeichen einer Erkrankung zur Überprüfung durch Menschen markiert werden, was die frühzeitige Diagnose erheblich unterstützt.

Automatisierte Optimierung mit Ultralytics#

Die Bibliothek ultralytics vereinfacht die Optimierung durch einen integrierten Optimierer, der genetische Algorithmen nutzt. Dadurch können Benutzer automatisch nach den besten Hyperparametern für ihre eigenen Datensätze suchen, ohne manuelles Ausprobieren. Für groß angelegte Anwendungen können Teams die Ultralytics Platform nutzen, um Datensätze zu verwalten und diese Optimierungsexperimente in der Cloud zu visualisieren.

Das folgende Beispiel zeigt, wie die Hyperparameter-Optimierung für ein YOLO26-Modell gestartet wird. Der Optimierer verändert die Hyperparameter über mehrere Iterationen hinweg, um die mittlere durchschnittliche Präzision (mAP) zu maximieren.

from ultralytics import YOLO

# Initialize a YOLO26 model (using the 'nano' weight for speed)
model = YOLO("yolo26n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# The tuner runs for 30 epochs per iteration, evolving parameters like lr0 and momentum
model.tune(data="coco8.yaml", epochs=30, iterations=100, optimizer="AdamW", plots=False)

Durch die Automatisierung dieses Prozesses kommen Entwickler dem Konzept des automatisierten maschinellen Lernens (AutoML) näher, bei dem sich das System selbst optimiert, um für eine bestimmte Aufgabe die bestmögliche Leistung zu erzielen.