Bayesian Optimization

La optimización bayesiana es un método para encontrar configuraciones de alto rendimiento de una función cuya evaluación es costosa, aprendiendo de evaluaciones anteriores. Construye un modelo probabilístico de cómo afectan las entradas a los resultados y, después, utiliza ese modelo para elegir el siguiente experimento. En aprendizaje automático, resulta útil para encontrar configuraciones de entrenamiento eficaces con un presupuesto computacional limitado.

Sus fundamentos incluyen el método de búsqueda secuencial de Harold Kushner de 1964 y la formulación bayesiana de búsqueda de extremos de 1975 de Jonas Mockus. Hoy en día, es una técnica fundamental para el ajuste de hiperparámetros y el aprendizaje automático automatizado.

Cómo funciona la optimización bayesiana#

La función objetivo mide la calidad de una configuración candidata. Para entrenar un modelo, la evaluación consiste en entrenarlo con los hiperparámetros seleccionados y medir su rendimiento con datos de validación. Entre las entradas ajustables se incluyen la tasa de aprendizaje, el tamaño del lote y la intensidad de la regularización.

Un modelo sustituto es una aproximación de la función objetivo que requiere menos recursos computacionales. Una opción habitual es un proceso gaussiano: una distribución de probabilidad sobre funciones posibles que predice tanto un resultado como su incertidumbre. La actualización bayesiana combina supuestos previos con las evaluaciones observadas para obtener una distribución posterior. Una función de adquisición utiliza esta distribución para seleccionar otro candidato; el resultado medido se incorpora al modelo sustituto hasta agotar el presupuesto de evaluación.

Este es un método de optimización basado en aprendizaje automático: el modelo sustituto aprende a partir de pares de configuración y resultado. La cuantificación de la incertidumbre ayuda a determinar qué mediciones adicionales son valiosas.

Funciones de adquisición y exploración#

La selección de candidatos equilibra la explotación, que favorece los ajustes que se prevé que ofrezcan buenos resultados, con la exploración, que investiga regiones inciertas. Las funciones de adquisición habituales expresan este equilibrio de distintas formas:

• Mejora esperada (EI): Puntúa la mejora esperada de un candidato con respecto a un resultado de referencia.
• Probabilidad de mejora (PI): Puntúa la probabilidad de superar un resultado de referencia por un margen determinado.
• Límite superior de confianza (UCB): En la maximización, combina la media prevista con una bonificación por incertidumbre, dando más prioridad a los candidatos inciertos.

Estas estrategias de adquisición son baratas de evaluar en comparación con entrenar un modelo o realizar un experimento físico. Su optimización guía la siguiente evaluación costosa.

Aplicaciones en aprendizaje automático y visión artificial#

La optimización bayesiana resulta especialmente útil cuando cada evaluación requiere mucho tiempo y la búsqueda contiene un número manejable de variables influyentes. Entre sus aplicaciones consolidadas se encuentran el diseño de ingeniería, los experimentos con materiales y el ajuste de controladores de aprendizaje por refuerzo.

En visión artificial, selecciona los ajustes de entrenamiento de las redes neuronales convolucionales. Jasper Snoek, Hugo Larochelle y Ryan P. Adams demostraron esta aplicación en su algoritmo práctico de optimización bayesiana de 2012, junto con el ajuste de máquinas de vectores de soporte estructuradas y modelos de temas.

Ultralytics YOLO ofrece búsqueda bayesiana mediante su integración con Ray Tune: configurar use_ray=True y search_alg="bayesopt" selecciona la optimización bayesiana para los hiperparámetros de entrenamiento. Para la detección de objetos con YOLO26, la búsqueda maximiza la métrica predeterminada de precisión media de la tarea.

Métodos relacionados y Optuna#

La búsqueda en cuadrícula evalúa una colección predefinida de combinaciones, mientras que la búsqueda aleatoria muestrea configuraciones de forma independiente. La optimización bayesiana utiliza resultados anteriores para orientar las elecciones posteriores. El descenso de gradiente actualiza los parámetros mediante derivadas; la optimización bayesiana trata funciones objetivo de caja negra costosas mediante evaluaciones y un modelo sustituto.

Los algoritmos de muestreo de Optuna incluyen la optimización bayesiana con procesos gaussianos, el muestreo aleatorio y el estimador de Parzen estructurado en árbol (TPE). TPE modela distribuciones de parámetros asociadas a resultados mejores y peores, y después favorece los candidatos con una proporción mayor entre esas densidades. Optuna es el marco de optimización; el muestreador seleccionado determina su estrategia de búsqueda.

Un ejemplo en Python#

Instala bayesian-optimization con pip install bayesian-optimization. Este ejemplo utiliza el objetivo y los límites del ejemplo introductorio de optimización del paquete:

from bayes_opt import BayesianOptimization


def objective(x, y):
    """Return the objective value to maximize."""
    return -(x**2) - (y - 1) ** 2 + 1


optimizer = BayesianOptimization(
    f=objective,
    pbounds={"x": (2, 4), "y": (-3, 3)},
    random_state=1,
    verbose=0,
)
optimizer.maximize(init_points=2, n_iter=15)
best = optimizer.max
print(f"Best objective: {best['target']:.4f}")

El resultado muestra el mejor objetivo medido tras dos evaluaciones aleatorias y quince evaluaciones guiadas por la función de adquisición. Dentro de estos límites, el máximo exacto es -3 en x=2, y=1.