Hyperparameter Tuning

El ajuste de hiperparámetros consiste en buscar los ajustes de entrenamiento que ofrecen el mejor rendimiento a un modelo de aprendizaje automático con datos reservados. Los hiperparámetros se fijan antes de empezar el entrenamiento, a diferencia de los pesos del modelo, que el entrenamiento aprende a partir de los datos. Cada configuración candidata debe evaluarse entrenando un modelo y midiéndolo con datos de validación, por lo que el ajuste es uno de los pasos que más recursos de computación consumen al crear un modelo, y elegir una buena estrategia de búsqueda importa tanto como elegir los valores que se van a buscar.

Hiperparámetros habituales#

En aprendizaje profundo para visión, los ajustes que suelen necesitar más optimización se agrupan en unas pocas categorías:

• Optimización: La tasa de aprendizaje y su programación, el momento, la regularización de pesos y la elección del optimizador, como SGD o el optimizador Adam. La tasa de aprendizaje suele tener el mayor efecto y se busca en una escala logarítmica.
• Duración del entrenamiento y lotes: El número de épocas, la duración del calentamiento y el tamaño del lote.
• Aumento de datos: La probabilidad y la intensidad de cada transformación, como volteos, cambios de escala y de color, y mosaicos.
• Pesos de la función de pérdida: Los factores que equilibran los términos de una función de pérdida compuesta, como las pérdidas de cajas y de clasificación en un detector.

Métodos de búsqueda#

Los profesionales exploran el espacio de posibles configuraciones con un puñado de estrategias:

• Búsqueda en cuadrícula: Entrena todas las combinaciones de una lista fija de valores. Es sencilla y exhaustiva, pero el coste se multiplica con cada hiperparámetro que se añade.
• Búsqueda aleatoria: Muestrea configuraciones al azar dentro de los intervalos permitidos. Bergstra y Bengio demostraron que encuentra modelos tan buenos como los de la búsqueda en cuadrícula, o mejores, con una fracción pequeña del coste computacional, porque solo unos pocos hiperparámetros importan mucho para cada problema y el muestreo aleatorio prueba más valores distintos de cada uno.
• Optimización bayesiana: Ajusta un modelo sustituto que representa cómo depende la puntuación de los hiperparámetros y elige cada siguiente prueba donde parece más probable obtener una mejora. Bibliotecas como Optuna utilizan este enfoque de forma predeterminada.
• Métodos de terminación anticipada: Hyperband y la reducción sucesiva empiezan muchas configuraciones con un presupuesto pequeño y solo conceden más épocas a las más prometedoras.
• Algoritmos evolutivos: Tratan cada configuración como un genoma y mejoran una población de configuraciones mediante selección y mutación.

Búsqueda evolutiva#

La búsqueda evolutiva es adecuada para entrenamientos con muchos hiperparámetros que interactúan entre sí, porque no necesita un modelo del espacio de búsqueda, solo una puntuación de aptitud para cada prueba. En cada ronda, toma una de las mejores configuraciones encontradas hasta el momento, muta algunos de sus valores, entrena con el resultado y conserva la nueva configuración en el conjunto si obtiene una buena puntuación.

El ajustador de Ultralytics ejecuta este ciclo para entrenar YOLO: en cada iteración, elige un progenitor entre los nueve resultados con mayor aptitud, muta aproximadamente la mitad de hasta 26 hiperparámetros relacionados con la tasa de aprendizaje, los factores de pérdida y el aumento de datos, y calcula la aptitud como mAP_50-95 para la detección. Los hiperparámetros de la fase COCO de los puntos de control oficiales de YOLO26 se encontraron mediante esta búsqueda evolutiva.

from ultralytics import YOLO

# Carga un modelo YOLO26n preentrenado
model = YOLO("yolo26n.pt")

# Espacio de búsqueda: límites (mín., máx.) para cada hiperparámetro que se va a ajustar
search_space = {"lr0": (1e-5, 1e-2), "degrees": (0.0, 45.0)}

# Cada una de las 30 iteraciones entrena durante 10 épocas con valores recién mutados
model.tune(data="coco8.yaml", epochs=10, iterations=30, space=search_space, plots=False, save=False, val=False)

La ejecución escribe best_hyperparameters.yaml, un gráfico de aptitud por iteración y los pesos de la mejor iteración en un directorio tune. model.tune() entrena con AdamW, a menos que se especifique el optimizador, porque el valor predeterminado optimizer="auto" sobrescribiría el valor ajustado lr0.

Ajuste de hiperparámetros frente a términos relacionados#

• Entrenamiento de modelos: El entrenamiento aprende los pesos para un conjunto fijo de hiperparámetros mediante retropropagación. El ajuste es el ciclo externo que ejecuta el entrenamiento muchas veces y compara los resultados.
• Ajuste fino: Aunque el nombre sea parecido, el ajuste fino continúa el entrenamiento de los pesos de un modelo preentrenado con datos nuevos. Tiene sus propios hiperparámetros que ajustar, como una tasa de aprendizaje más baja y el número de capas congeladas.
• Búsqueda de arquitecturas neuronales (NAS): Busca entre las estructuras de la red, como los tipos y las anchuras de las capas, en lugar de entre los ajustes de entrenamiento.
• Aprendizaje automático automatizado (AutoML): Automatiza un flujo de trabajo más amplio, que incluye la selección de modelos y el preprocesamiento de datos, y utiliza el ajuste de hiperparámetros como uno de sus componentes.
• Sobreajuste al conjunto de validación: Cientos de pruebas de ajuste evaluadas con la misma partición de validación pueden seleccionar por azar ajustes que se adaptan a esa partición, así que los resultados finales deben obtenerse en un conjunto de prueba independiente que nunca se haya usado para el ajuste.