Ajuste de hiperparámetros

Comprender los hiperparámetros

Los hiperparámetros definen las propiedades de nivel superior del modelo, como su complejidad o la velocidad a la que debe aprender. Algunos ejemplos comunes son la tasa de aprendizaje utilizada en los algoritmos de optimización, el tamaño del lote que determina cuántas muestras se procesan antes de actualizar los parámetros del modelo, el número de capas de una red neuronal o la fuerza de las técnicas de regularización, como el uso de capas de abandono. La elección de los hiperparámetros influye significativamente en los resultados del modelo. Una mala elección puede llevar a un ajuste insuficiente, en el que el modelo es demasiado simple para captar los patrones de los datos, o a un ajuste excesivo, en el que el modelo aprende demasiado bien los datos de entrenamiento, incluido el ruido, y no consigue generalizar a los datos de prueba.

Por qué es importante ajustar los hiperparámetros

El ajuste eficaz de hiperparámetros es esencial para construir modelos de ML de alto rendimiento. Un modelo bien ajustado consigue una mayor precisión, una convergencia más rápida durante el entrenamiento y una mejor generalización en datos no observados. Para tareas complejas como la detección de objetos mediante modelos como Ultralytics YOLO, encontrar los hiperparámetros óptimos puede mejorar drásticamente métricas de rendimiento como la precisión media (mAP) y la velocidad de inferencia, que son fundamentales para aplicaciones que exigen inferencia en tiempo real. El objetivo es navegar por las compensaciones, como la compensación sesgo-varianza, para encontrar el punto óptimo para un problema y un conjunto de datos determinados, a menudo evaluados mediante datos de validación.

Técnicas de ajuste de hiperparámetros

Existen varias estrategias para buscar los mejores valores de los hiperparámetros:

• Búsqueda en cuadrícula: Prueba exhaustivamente todas las combinaciones posibles de valores de hiperparámetros especificados. Sencillo pero costoso desde el punto de vista computacional.
• Búsqueda aleatoria: Muestrea combinaciones de hiperparámetros aleatoriamente a partir de distribuciones especificadas. Suele ser más eficiente que la búsqueda en cuadrícula.
• Optimización bayesiana: Construye un modelo probabilístico de la función objetivo (por ejemplo, la precisión del modelo) y lo utiliza para seleccionar hiperparámetros prometedores que evaluar a continuación. Herramientas como Optuna lo implementan.
• Algoritmos evolutivos: Utiliza conceptos inspirados en la evolución biológica, como la mutación y el cruce, para refinar iterativamente poblaciones de conjuntos de hiperparámetros. Los modelos YOLO de Ultralytics lo aprovechan para la evolución de hiperparámetros.

Herramientas como Weights & Biases Sweeps, ClearML, Comet y KerasTuner ayudan a automatizar y gestionar estos procesos de ajuste, a menudo integrándose con marcos como PyTorch y TensorFlow.

Ajuste de hiperparámetros frente a conceptos afines

Es importante distinguir el ajuste de hiperparámetros de los conceptos de ML relacionados:

• Entrenamiento del modelo: El ajuste de hiperparámetros establece las condiciones para el entrenamiento (por ejemplo, velocidad de aprendizaje, tamaño del lote). El entrenamiento del modelo es el proceso de aprendizaje de los parámetros del modelo (pesos y sesgos) basado en los datos, utilizando los hiperparámetros elegidos y un algoritmo de optimización.
• Algoritmos de optimización (Adam, SGD): Estos algoritmos actualizan los parámetros del modelo durante el entrenamiento basándose en la función de pérdida. Los hiperparámetros controlan estos algoritmos (por ejemplo, la tasa de aprendizaje), pero el proceso de ajuste en sí es independiente del funcionamiento del algoritmo.
• Regularización: Técnicas como la regularización L1/L2 o el abandono ayudan a evitar el sobreajuste. La intensidad o el índice de estas técnicas son hiperparámetros que deben ajustarse.
• Aprendizaje automático de máquinas (AutoML): Un campo más amplio cuyo objetivo es automatizar todo el proceso de ML, incluida la ingeniería de características, la selección de modelos y el ajuste de hiperparámetros. HPT suele ser un componente clave de los sistemas AutoML.

Aplicaciones reales

El ajuste de hiperparámetros se aplica en varios ámbitos:

• Análisis de imágenes médicas: Cuando se entrena un modelo para la detección de tumores, el ajuste de hiperparámetros como el programa de tasa de aprendizaje, la intensidad de aumento de datos(por ejemplo, utilizando Albumentations), y los pesos de la función de pérdida es crucial para lograr una alta precisión de detección (medida por métricas como AUC) en conjuntos de datos médicos específicos. Esto es vital para la fiabilidad de las soluciones de IA en sanidad.
• Vehículos autónomos: Los modelos de detección de objetos en vehículos autónomos requieren un ajuste cuidadoso. La optimización de hiperparámetros como la resolución de la imagen de entrada, los umbrales de supresión no máxima (NMS ) y las configuraciones de la caja de anclaje (para detectores basados en anclajes) garantiza que el sistema pueda detectar con fiabilidad peatones, vehículos y obstáculos con baja latencia para una navegación segura. Este ajuste es fundamental para empresas como Waymo y contribuye a la solidez de las soluciones de IA en automoción.

Ajuste de hiperparámetros con Ultralytics

Ultralytics proporciona herramientas para simplificar el ajuste de hiperparámetros para modelos YOLO. El sitio Ultralytics Tuner clasedocumentado en el Guía de ajuste de hiperparámetrosautomatiza el proceso mediante algoritmos evolutivos. Integración con plataformas como Ray Tune ofrece más funciones para estrategias de búsqueda distribuida y avanzada, ayudando a los usuarios a optimizar sus modelos de forma eficaz para conjuntos de datos específicos (como COCO) y tareas que utilizan recursos como HUB de Ultralytics para el seguimiento y la gestión de experimentos. Visite consejos para la formación de modelos a menudo implica un ajuste eficaz de los hiperparámetros.