Bayesian Optimization

Bayessche Optimierung ist ein Verfahren, um leistungsstarke Einstellungen einer aufwendig auszuwertenden Funktion zu finden, indem aus früheren Auswertungen gelernt wird. Dazu wird ein probabilistisches Modell erstellt, das beschreibt, wie Eingaben die Ergebnisse beeinflussen, und dieses Modell anschließend genutzt, um das nächste Experiment auszuwählen. Beim maschinellen Lernen eignet sich das Verfahren daher, um innerhalb eines begrenzten Rechenbudgets leistungsstarke Trainingskonfigurationen zu finden.

Zu den Grundlagen zählen Harold Kushners sequentielle Suchmethode von 1964 und Jonas Mockus' Bayessche Formulierung zur Extremwertsuche von 1975. Heute ist das Verfahren eine zentrale Technik für die Hyperparameteroptimierung und das automatisierte maschinelle Lernen.

So funktioniert Bayessche Optimierung#

Die Zielfunktion misst die Qualität einer möglichen Konfiguration. Beim Modelltraining umfasst eine Auswertung das Training mit ausgewählten Hyperparametern und die Messung der Leistung anhand von Validierungsdaten. Zu den einstellbaren Eingaben gehören Lernrate, Batchgröße und Stärke der Regularisierung.

Ein Ersatzmodell ist eine rechnerisch günstigere Näherung der Zielfunktion. Eine gängige Wahl ist ein Gauß-Prozess: eine Wahrscheinlichkeitsverteilung über mögliche Funktionen, die sowohl ein Ergebnis als auch dessen Unsicherheit vorhersagt. Durch Bayessches Aktualisieren werden vorherige Annahmen mit beobachteten Auswertungen kombiniert, um eine Posteriorverteilung zu erstellen. Eine Akquisitionsfunktion nutzt diese Verteilung, um eine weitere Konfiguration auszuwählen; das gemessene Ergebnis fließt in das Ersatzmodell zurück, bis das Auswertungsbudget erschöpft ist.

Dies ist ein Optimierungsansatz auf Basis maschinellen Lernens: Das Ersatzmodell lernt aus Konfigurations-Ergebnis-Paaren. Seine Quantifizierung der Unsicherheit hilft dabei, zu bestimmen, welche zusätzlichen Messungen nützlich sind.

Akquisitionsfunktionen und Exploration#

Bei der Auswahl einer Konfiguration wird Exploitation, also die Bevorzugung von Einstellungen mit voraussichtlich guter Leistung, gegen Exploration abgewogen, bei der unsichere Bereiche untersucht werden. Gängige Akquisitionsfunktionen setzen diesen Ausgleich unterschiedlich um:

• Erwartete Verbesserung (EI): Bewertet die erwartete Verbesserung einer Konfiguration gegenüber einem Referenzergebnis.
• Verbesserungswahrscheinlichkeit (PI): Bewertet die Wahrscheinlichkeit, ein Referenzergebnis um einen vorgegebenen Mindestwert zu übertreffen.
• Obere Konfidenzgrenze (UCB): Kombiniert bei einer Maximierung den vorhergesagten Mittelwert mit einem Unsicherheitsbonus und räumt unsicheren Konfigurationen dadurch eine höhere Priorität ein.

Diese Akquisitionsstrategien lassen sich im Vergleich zum Trainieren eines Modells oder Durchführen eines physischen Experiments kostengünstig auswerten. Ihre Optimierung bestimmt die nächste aufwendige Auswertung.

Anwendungen im maschinellen Lernen und in der Bildverarbeitung#

Bayessche Optimierung ist besonders nützlich, wenn einzelne Auswertungen viel Zeit beanspruchen und die Suche eine überschaubare Anzahl einflussreicher Variablen umfasst. Zu den etablierten Anwendungen gehören die technische Konstruktion, Materialexperimente und die Abstimmung von Steuerungen für bestärkendes Lernen.

In der Bildverarbeitung wählt sie Trainingseinstellungen für faltende neuronale Netze aus. Jasper Snoek, Hugo Larochelle und Ryan P. Adams zeigten diese Anwendung in ihrem praktischen Algorithmus zur Bayesschen Optimierung von 2012 und stimmten außerdem strukturierte Support-Vektor-Maschinen und Themenmodelle ab.

Ultralytics YOLO bietet Bayessche Suche über die Ray-Tune-Integration: Wenn du use_ray=True und search_alg="bayesopt" festlegst, wird die Bayessche Optimierung für die Trainingshyperparameter ausgewählt. Bei der Objekterkennung mit YOLO26 maximiert die Suche die standardmäßige Metrik der Aufgabe, die mittlere durchschnittliche Präzision.

Verwandte Methoden und Optuna#

Bei der Gittersuche wird eine vordefinierte Sammlung von Kombinationen ausgewertet, während bei der Zufallssuche Konfigurationen unabhängig voneinander ausgewählt werden. Die Bayessche Optimierung nutzt frühere Ergebnisse, um nachfolgende Entscheidungen zu steuern. Gradientenabstieg aktualisiert Parameter mithilfe von Ableitungen; die Bayessche Optimierung behandelt aufwendige Black-Box-Zielfunktionen mithilfe von Auswertungen und einem Ersatzmodell.

Zu Optunas Sampling-Algorithmen gehören die Bayessche Optimierung mit Gauß-Prozessen, zufälliges Sampling und der baumstrukturierte Parzen-Schätzer (TPE). TPE modelliert Parameterverteilungen, die mit besseren und schlechteren Ergebnissen verbunden sind, und bevorzugt dann Konfigurationen mit einem höheren Verhältnis dieser Dichten. Optuna ist das Optimierungsframework; der ausgewählte Sampler legt die Suchstrategie fest.

Ein Python-Beispiel#

Installiere bayesian-optimization mit pip install bayesian-optimization. Dabei werden die Zielfunktion und die Grenzen aus dem einführenden Optimierungsbeispiel des Pakets verwendet:

from bayes_opt import BayesianOptimization


def objective(x, y):
    """Return the objective value to maximize."""
    return -(x**2) - (y - 1) ** 2 + 1


optimizer = BayesianOptimization(
    f=objective,
    pbounds={"x": (2, 4), "y": (-3, 3)},
    random_state=1,
    verbose=0,
)
optimizer.maximize(init_points=2, n_iter=15)
best = optimizer.max
print(f"Best objective: {best['target']:.4f}")

Die Ausgabe zeigt den besten gemessenen Zielfunktionswert nach zwei zufälligen Auswertungen und fünfzehn durch die Akquisitionsfunktion gesteuerten Auswertungen. Innerhalb dieser Grenzen liegt das exakte Maximum bei -3 an den Stellen x=2, y=1.