Hyperparameter-Abstimmung

Bei der Abstimmung von Hyperparametern geht es darum, die optimalen Konfigurationseinstellungen für ein Modell des maschinellen Lernens (ML) zu finden. Diese als Hyperparameter bezeichneten Einstellungen liegen außerhalb des Modells und können während des Trainingsprozesses nicht direkt aus den Daten gelernt werden. Stattdessen werden sie vor Beginn des Trainings festgelegt und steuern, wie sich der Trainingsprozess selbst verhält. Die effektive Abstimmung dieser Hyperparameter ist ein entscheidender Schritt, um die Leistung des Modells zu maximieren und sicherzustellen, dass es gut auf neue, ungesehene Daten verallgemeinert werden kann. Ohne die richtige Abstimmung kann selbst die fortschrittlichste Modellarchitektur nicht die gewünschte Leistung erbringen.

Hyperparameter-Tuning im Vergleich zu verwandten Konzepten

Es ist wichtig, die Abstimmung von Hyperparametern von anderen Schlüsselkonzepten der ML zu unterscheiden:

• Optimierungsalgorithmus: Ein Optimierungsalgorithmus, wie Adam oder Stochastic Gradient Descent (SGD), ist der Motor, der die internen Parameter des Modells (Gewichte und Verzerrungen) während des Trainings anpasst, um die Verlustfunktion zu minimieren. Bei der Abstimmung der Hyperparameter geht es dagegen um die Auswahl der besten externen Einstellungen, die sogar die Wahl des Optimierungsalgorithmus selbst umfassen kann.
• Neuronale Architektur-Suche (NAS): Während die Abstimmung der Hyperparameter die Einstellungen für eine gegebene Modellstruktur optimiert, automatisiert NAS den Entwurf der Modellarchitektur selbst, z. B. die Bestimmung der Anzahl und Art der Schichten. Beides sind Formen des automatisierten maschinellen Lernens (AutoML) und werden oft zusammen verwendet, um das bestmögliche Modell zu erstellen.
• Modellparameter: Dies sind die internen Variablen eines Modells, wie z. B. die Gewichte und Verzerrungen in einem neuronalen Netz, die aus den Trainingsdaten durch Backpropagation gelernt werden. Hyperparameter sind die Einstellungen auf höherer Ebene, die bestimmen, wie diese Parameter gelernt werden.

Übliche Tuning-Methoden und Hyperparameter

In der Praxis werden verschiedene Strategien angewandt, um die besten Hyperparameterwerte zu finden. Zu den gebräuchlichen Methoden gehören die Gittersuche, bei der alle Kombinationen der angegebenen Werte durchprobiert werden, die Zufallssuche, bei der Kombinationen nach dem Zufallsprinzip ausgewählt werden, und fortgeschrittenere Methoden wie die Bayes'sche Optimierung und evolutionäre Algorithmen.

Zu den am häufigsten eingestellten Hyperparametern gehören:

• Lernrate: Steuert, wie stark die Gewichte des Modells in Bezug auf den Verlustgradienten angepasst werden.
• Größe der Charge: Die Anzahl der Trainingsbeispiele, die in einer Iteration verwendet werden.
• Anzahl der Epochen: Die Anzahl, wie oft der gesamte Trainingsdatensatz das Modell durchläuft.
• Intensitätder Datenerweiterung: Der Grad der auf die Trainingsdaten angewendeten Transformationen, wie Drehung, Skalierung oder Farbverschiebungen. Die Albumentations-Bibliothek ist ein beliebtes Werkzeug hierfür.

Anwendungen in der realen Welt

Die Abstimmung der Hyperparameter wird auf verschiedene Bereiche angewendet, um Spitzenleistungen zu erzielen:

• Medizinische Bildanalyse: Beim Training eines Modells für die Tumorerkennung ist die Abstimmung von Hyperparametern wie dem Zeitplan für die Lernrate, den Einstellungen für die Datenerweiterung und den Verlustfunktionsgewichten von entscheidender Bedeutung, um eine hohe Erkennungsgenauigkeit bei bestimmten medizinischen Datensätzen zu erreichen. Dies ist für zuverlässige KI-Lösungen im Gesundheitswesen unerlässlich und Gegenstand laufender Forschung.
• Autonome Fahrzeuge: Modelle zur Objekterkennung in selbstfahrenden Autos müssen sorgfältig abgestimmt werden. Die Optimierung von Hyperparametern wie der Auflösung des Eingangsbildes, der Schwellenwerte für die nichtmaximale Unterdrückung (NMS) und der Konfigurationen der Ankerboxen stellt sicher, dass das System Fußgänger und Hindernisse zuverlässig und mit geringer Latenz für eine sichere Navigation erkennen kann. Diese Abstimmung ist für Unternehmen wie Waymo von entscheidender Bedeutung und trägt zu robusten KI-Lösungen im Automobilbereich bei.

Hyperparameter-Abstimmung mit Ultralytics

Ultralytics bietet Tools zur Vereinfachung der Abstimmung von Hyperparametern für Ultralytik YOLO Modelle. Die Website Ultralytik Tuner Klasse, dokumentiert in der Hyperparameter-Tuning-Leitfadenautomatisiert den Prozess mit Hilfe evolutionärer Algorithmen. Integration mit Plattformen wie Ray Tune bietet weitere Möglichkeiten für verteilte und fortgeschrittene Suchstrategien, die den Nutzern helfen, ihre Modelle effizient für bestimmte Datensätze zu optimieren (wie COCO) und Aufgaben. Die Nutzer können Plattformen nutzen wie Ultralytics HUB für eine rationelle Nachverfolgung und Verwaltung von Experimenten, was oft ein wichtiger Bestandteil der Einhaltung bewährter Verfahren für Modellschulung. Beliebte Open-Source-Bibliotheken wie Optuna und Hyperopt werden in der ML-Gemeinschaft ebenfalls häufig zu diesem Zweck verwendet.