Hyperparameter-Optimierung

Die Hyperparameter-Optimierung ist der Prozess, die optimalen Konfigurationseinstellungen für ein Machine-Learning (ML)-Modell zu finden. Diese Einstellungen, bekannt als Hyperparameter, sind extern zum Modell und können nicht direkt aus den Daten während des Trainingsprozesses gelernt werden. Stattdessen werden sie vor Beginn des Trainings festgelegt und steuern, wie sich der Trainingsprozess selbst verhält. Das effektive Optimieren dieser Hyperparameter ist ein entscheidender Schritt, um die Modellleistung zu maximieren und sicherzustellen, dass sie gut auf neue, ungesehene Daten generalisiert. Ohne ordnungsgemäße Optimierung kann selbst die fortschrittlichste Modellarchitektur eineUnderperformance aufweisen.

Hyperparameter-Optimierung vs. verwandte Konzepte

Es ist wichtig, Hyperparameter-Optimierung von anderen Schlüsselkonzepten im ML-Bereich zu unterscheiden:

• Optimierungsalgorithmus: Ein Optimierungsalgorithmus, wie Adam oder Stochastic Gradient Descent (SGD), ist die Engine, die die internen Parameter (Gewichte und Bias) des Modells während des Trainings anpasst, um die Loss-Funktion zu minimieren. Im Gegensatz dazu beinhaltet Hyperparameter-Optimierung die Auswahl der besten externen Einstellungen, was sogar die Wahl des Optimierungsalgorithmus selbst beinhalten kann.
• Neural Architecture Search (NAS): Während die Hyperparameter-Optimierung die Einstellungen für eine gegebene Modellstruktur optimiert, automatisiert NAS den Entwurf der Modellarchitektur selbst, z. B. die Bestimmung der Anzahl und des Typs der Schichten. Beide sind Formen des Automated Machine Learning (AutoML) und werden oft zusammen verwendet, um das bestmögliche Modell zu erstellen.
• Modellparameter: Dies sind die internen Variablen eines Modells, wie z. B. die Gewichte und Verzerrungen in einem neuronalen Netzwerk, die aus den Trainingsdaten durch Backpropagation gelernt werden. Hyperparameter sind die übergeordneten Einstellungen, die bestimmen, wie diese Parameter gelernt werden.

Gängige Tuning-Methoden und Hyperparameter

Praktiker verwenden verschiedene Strategien, um die besten Hyperparameterwerte zu finden. Gängige Methoden sind die Gittersuche (Grid Search), bei der jede Kombination von festgelegten Werten erschöpfend ausprobiert wird, die Zufallssuche (Random Search), bei der Kombinationen zufällig ausgewählt werden, und fortgeschrittenere Methoden wie Bayesianische Optimierung und Evolutionäre Algorithmen.

Einige der am häufigsten optimierten Hyperparameter sind:

• Lernrate: Steuert, wie stark die Gewichte des Modells in Bezug auf den Verlustgradienten angepasst werden.
• Batch-Größe: Die Anzahl der Trainingsbeispiele, die in einer Iteration verwendet werden.
• Anzahl der Epochen: Die Anzahl, wie oft der gesamte Trainingsdatensatz durch das Modell geleitet wird.
• Datenerweiterung Intensität: Der Grad der Transformationen, die auf die Trainingsdaten angewendet werden, wie z. B. Drehung, Skalierung oder Farbverschiebungen. Die Albumentations-Bibliothek ist ein beliebtes Werkzeug dafür.

Anwendungsfälle in der Praxis

Die Hyperparameter-Optimierung wird in verschiedenen Bereichen eingesetzt, um Spitzenleistungen zu erzielen:

• Medizinische Bildanalyse: Beim Trainieren eines Modells zur Tumorerkennung ist die Optimierung von Hyperparametern wie dem Lernratenplan, den Einstellungen für die Datenaugmentation und den Gewichtungen der Verlustfunktion entscheidend, um eine hohe Erkennungs-genauigkeit bei bestimmten medizinischen Datensätzen zu erzielen. Dies ist entscheidend für zuverlässige KI-Lösungen im Gesundheitswesen und ist Gegenstand laufender Forschung.
• Autonome Fahrzeuge: Objekterkennungsmodelle in selbstfahrenden Autos erfordern eine sorgfältige Abstimmung. Die Optimierung von Hyperparametern wie Eingabebildauflösung, Non-Maximum Suppression (NMS)-Schwellenwerten und Anchor-Box-Konfigurationen stellt sicher, dass das System Fußgänger und Hindernisse zuverlässig und mit geringer Latenz für eine sichere Navigation erkennen kann. Diese Abstimmung ist entscheidend für Unternehmen wie Waymo und trägt zu robusten KI-Lösungen im Automobilbereich bei.

Hyperparameter-Optimierung mit Ultralytics

Ultralytics bietet Tools zur Vereinfachung der Hyperparameter-Optimierung für Ultralytics YOLO Modelle. Die Ultralytics Tuner Klasse, dokumentiert in der Anleitung zur Hyperparameter-Optimierung, automatisiert den Prozess mithilfe evolutionärer Algorithmen. Die Integration mit Plattformen wie Ray Tune bietet weitere Möglichkeiten für verteilte und fortgeschrittene Suchstrategien, die Nutzern helfen, ihre Modelle effizient für bestimmte Datensätze zu optimieren (wie COCO) und Aufgaben. Benutzer können Plattformen wie Ultralytics HUB für eine optimierte Experimentverfolgung und -verwaltung, die oft ein wichtiger Bestandteil der Einhaltung von Best Practices für Modelltraining. Beliebte Open-Source-Bibliotheken wie Optuna und Hyperopt werden auch in der ML-Community häufig für diesen Zweck verwendet.