Datos de validación

Los datos de validación son una muestra de datos retenidos del proceso de entrenamiento que se utiliza para proporcionar una evaluación imparcial del ajuste de un modelo mientras se ajustan sus hiperparámetros. La función principal del conjunto de validación es guiar el desarrollo de un modelo de aprendizaje automático (AM ) ofreciendo una evaluación frecuente e independiente de su rendimiento. Este bucle de retroalimentación es esencial para construir modelos que no sólo funcionen bien con los datos que han visto, sino que también se generalicen eficazmente a nuevos datos no vistos, un concepto fundamental para crear sistemas robustos de Inteligencia Artificial (IA).

El papel de los datos de validación

El principal objetivo de los datos de validación es evitar el sobreajuste. La sobreadaptación se produce cuando un modelo aprende demasiado bien los datos de entrenamiento, captando ruido y detalles que no se aplican a los nuevos datos, lo que perjudica su rendimiento. Al probar el modelo con el conjunto de validación a intervalos regulares (por ejemplo, después de cada época), los desarrolladores pueden controlar su error de generalización. Si el rendimiento en los datos de entrenamiento sigue mejorando mientras que el rendimiento en los datos de validación se estanca o se degrada, es un signo claro de sobreajuste.

Este proceso de evaluación es crucial para el ajuste de hiperparámetros. Los hiperparámetros son ajustes de configuración externos al modelo, como la tasa de aprendizaje o el tamaño del lote, que no se aprenden a partir de los datos. El conjunto de validación permite experimentar con diferentes combinaciones de hiperparámetros para encontrar el conjunto que produce el mejor rendimiento. Este proceso iterativo es una parte esencial de la selección y optimización de modelos.

Datos de validación frente a datos de entrenamiento y ensayo

En un proyecto típico de ML, el conjunto de datos se divide en tres subconjuntos, y es fundamental comprender sus distintas funciones. Un enfoque común de la división de datos consiste en asignar el 70% al entrenamiento, el 15% a la validación y el 15% a las pruebas.

• Datos de entrenamiento: Se trata de la mayor parte de los datos, utilizados para enseñar el modelo. El modelo aprende iterativamente patrones, características y relaciones a partir de este conjunto de datos ajustando las ponderaciones internas del modelo.
• Datos de validación: Este subconjunto separado se utiliza para proporcionar una evaluación imparcial durante el proceso de entrenamiento. Ayuda a ajustar los hiperparámetros y a tomar decisiones clave, como cuándo aplicar una parada temprana para evitar el sobreajuste. En el ecosistema Ultralytics, esta evaluación se realiza en el modo de validación.
• Datos de prueba: Este conjunto de datos se retiene hasta que el modelo está completamente entrenado y ajustado. Se utiliza una sola vez para proporcionar una evaluación final e imparcial del rendimiento del modelo. El rendimiento del conjunto de prueba indica cómo se espera que funcione el modelo en un escenario de despliegue real.

Mantener una separación estricta, especialmente entre los conjuntos de validación y de prueba, es fundamental para evaluar con precisión las capacidades de un modelo y evitar el compromiso sesgo-varianza.

Ejemplos reales

1. Detección de objetospor visión computerizada: Cuando se entrena un modelo YOLO de Ultralytics para detectar objetos en imágenes (por ejemplo, utilizando el conjunto de datos VisDrone), se reserva una parte de las imágenes etiquetadas como datos de validación. Durante el entrenamiento, se calcula la mAP (precisión media) del modelo en este conjunto de validación después de cada época. Este mAP de validación ayuda a decidir cuándo detener el entrenamiento o qué conjunto de técnicas de aumento de datos funciona mejor, antes de una comprobación final del rendimiento en el conjunto de prueba. Las estrategias eficaces de evaluación de modelos dependen en gran medida de esta división.
2. Procesamiento del lenguaje natural Clasificación de textos: Al desarrollar un modelo para clasificar las opiniones de los clientes como positivas o negativas(análisis de sentimientos), se utiliza un conjunto de validación para elegir la arquitectura óptima (por ejemplo, LSTM frente a Transformer) o ajustar hiperparámetros como las tasas de abandono. El modelo que obtenga la mayor puntuación F1 o la mayor precisión en el conjunto de validación se seleccionará para la prueba final. Recursos como Hugging Face Datasets suelen proporcionar conjuntos de datos previamente divididos para este fin.

Validación cruzada

Cuando la cantidad de datos disponibles es limitada, se suele emplear una técnica denominada validación cruzada (en concreto, validación cruzada de K pliegues). En este caso, los datos de entrenamiento se dividen en "K" subconjuntos (pliegues). El modelo se entrena K veces, utilizando cada vez K-1 pliegues para el entrenamiento y el pliegue restante como conjunto de validación. A continuación, se calcula la media del rendimiento de las K ejecuciones. Esto proporciona una estimación más robusta del rendimiento del modelo y hace un mejor uso de los datos limitados, como se explica en recursos como la documentación scikit-learn y la guía Ultralytics K-Fold Cross-Validation.

En resumen, los datos de validación son la piedra angular de la creación de modelos de IA fiables y de alto rendimiento con marcos como PyTorch y TensorFlow. Permiten un ajuste eficaz de los hiperparámetros, la selección de modelos y la prevención del sobreajuste, lo que garantiza que los modelos generalicen más allá de los datos en los que se han entrenado. Plataformas como Ultralytics HUB ofrecen herramientas integradas para gestionar eficazmente estos conjuntos de datos.