Automated Machine Learning (AutoML)

Automatisiertes maschinelles Lernen (AutoML) automatisiert die Arbeit mit Versuch und Irrtum beim Erstellen eines Modells für maschinelles Lernen (ML): das Aufbereiten von Merkmalen, die Wahl eines Algorithmus, das Festlegen seiner Hyperparameter und manchmal das Entwerfen einer Netzwerkarchitektur oder das Kombinieren mehrerer Modelle. Ein AutoML-System erhält einen Datensatz, eine Zielmetrik und ein Rechenbudget, durchsucht mögliche Verarbeitungsketten, bewertet jede davon anhand zurückgehaltener Daten und gibt die beste gefundene Lösung zurück. Das Projekt Auto-WEKA beschrieb den Kern dieser Aufgabe als Problem der kombinierten Algorithmusauswahl und Hyperparameteroptimierung (CASH), eine Formulierung, die spätere Werkzeuge wie auto-sklearn übernahmen. AutoML bietet Nichtfachleuten solide Ausgangsmodelle und erspart Fachleuten den repetitiven Teil des Experimentierens.

So funktioniert AutoML#

Ein AutoML-System besteht aus drei Bausteinen. Der Suchraum legt fest, was variieren kann: von Schritten der Datenvorverarbeitung und des Feature Engineering bis hin zur Modellfamilie, etwa lineare Regression, XGBoost oder ein neuronales Netz, und den Einstellungen jeder Familie, etwa der Lernrate. Die Suchstrategie wählt aus, welche Kandidaten ausprobiert werden: mit zufälliger Suche, Bayes'scher Optimierung, die vielversprechende Bereiche des Suchraums modelliert, oder evolutionären Algorithmen, die gute Konfigurationen verändern und neu kombinieren. Der Bewertungsschritt beurteilt jeden Kandidaten anhand von Validierungsdaten oder mithilfe von Kreuzvalidierung. Viele Systeme starten die Suche außerdem mithilfe von Metalernen auf Grundlage früherer Datensätze mit guten Ausgangswerten und schließen sie ab, indem sie die besten Kandidaten zu einem Modellensemble kombinieren.

Jeden Kandidaten vollständig zu trainieren, verursacht die größten Kosten. Daher trainieren Mehrstufenverfahren zunächst viele Konfigurationen mit geringem Aufwand und investieren mehr Ressourcen nur in die vielversprechenden. Successive Halving, der Grundbaustein von Hyperband, wiederholt einen Durchlauf, bis nur noch eine Konfiguration übrig bleibt:

Eine umfangreiche Suche kann auch zu einer Überanpassung an die Validierungsdaten führen, da der Gewinner teilweise einfach der Glücklichste unter vielen Kandidaten ist. Deshalb wird das endgültige Modell anhand eines separaten Testsatzes bewertet.

AutoML-Werkzeuge#

• AutoGluon: Eine Open-Source-Bibliothek, die bei Amazon entwickelt wurde. Sie trainiert viele Modelltypen mit Tabellen-, Text-, Bild- und Zeitreihendaten und kombiniert sie zu einem Ensemble.
• auto-sklearn: Durchsucht scikit-learn-Verarbeitungsketten mithilfe von Bayes'scher Optimierung, Metalernen und Ensemblebildung.
• FLAML: Eine Microsoft-Bibliothek, die eine kostengünstige Suche nach Tabellenmodellen und Hyperparametern ermöglicht.
• Optuna: Ein Framework zur Hyperparameteroptimierung, dessen Pruner wenig aussichtsreiche Versuche frühzeitig beenden. Es wird häufig als Suchmaschine in benutzerdefinierten AutoML-Schleifen eingesetzt.
• Google Cloud AutoML: Ein verwalteter Dienst, der jetzt Teil der Gemini Enterprise Agent Platform und früher unter dem Namen Vertex AI bekannt ist. Er trainiert ohne Code Bildklassifizierungs-, Objekterkennungs- und Tabellenmodelle.
• Amazon SageMaker Autopilot: Der AutoML-Dienst von AWS, dessen Benutzeroberfläche jetzt in SageMaker Canvas zu finden ist.

Für kleine Tabellen bieten Tabellen-Grundlagenmodelle einen anderen Weg zum selben Ziel: Sie erstellen Vorhersagen anhand der Trainingszeilen im Kontext, ohne für jeden Datensatz eine separate Suche durchzuführen.

Automatisierte Optimierung für YOLO#

Bei Computer-Vision-Modellen mit einer festen, vortrainierten Architektur richtet sich die automatisierte Suche normalerweise auf den Trainingsablauf. Die model.tune() von Ultralytics YOLO entwickelt standardmäßig 26 Trainingshyperparameter weiter, darunter Lernrate, Impuls, Verlustgewichtungen und Stärke der Augmentierungen: Bei jeder Iteration werden die bis dahin besten Konfigurationen verändert und neu kombiniert, kurz trainiert und anhand ihrer Fitness bewertet. Im Durchlauf wird best_hyperparameters.yaml zusammen mit Diagrammen der Fitness über die Iterationen hinweg gespeichert. Mit use_ray=True übergibst du die Suche stattdessen an Ray Tune.

from ultralytics import YOLO

# Lade ein vortrainiertes YOLO26-Modell, um es zu optimieren
model = YOLO("yolo26n.pt")

# Hyperparameter weiterentwickeln: Bei jeder Iteration werden die bisher besten Konfigurationen verändert, trainiert und hinsichtlich ihrer Fitness bewertet
model.tune(data="coco8.yaml", epochs=30, iterations=10, plots=False, save=False, val=False)

AutoML und verwandte Begriffe#

• Hyperparameteroptimierung: Optimiert die Einstellungen eines ausgewählten Modells. AutoML umfasst sie üblicherweise als eine Phase einer umfassenderen Suche, bei der auch das Modell ausgewählt wird.
• Suche nach neuronalen Architekturen (NAS): Der Bereich von AutoML, der Netzwerkarchitekturen entwirft, etwa Schichttypen, Tiefen und Verbindungen.
• Transferlernen: Beginnt mit einem vortrainierten Modell statt von Grund auf neu. AutoML-Systeme durchsuchen häufig vortrainierte Backbone-Netzwerke, wodurch sich beide Ansätze gut ergänzen.
• Betrieb maschinellen Lernens (MLOps): Umfasst den gesamten Lebenszyklus eines Modells, einschließlich Bereitstellung, Überwachung und erneutem Training, und führt AutoML oft als einen Schritt einer Trainingspipeline aus.