Datos de validación

Los datos de validación son una muestra de datos retenidos del proceso de entrenamiento que se utiliza para proporcionar una evaluación imparcial del ajuste de un modelo mientras se ajustan sus hiperparámetros. El papel principal del conjunto de validación es guiar el desarrollo de un modelo de aprendizaje automático (ML) ofreciendo una evaluación frecuente e independiente de su rendimiento. Este bucle de retroalimentación es esencial para construir modelos que no solo funcionen bien con los datos que han visto, sino que también se generalicen eficazmente a datos nuevos e invisibles, un concepto central para la creación de sistemas robustos de Inteligencia Artificial (IA).

El papel de los datos de validación

El propósito principal de los datos de validación es prevenir el sobreajuste. El sobreajuste se produce cuando un modelo aprende demasiado bien los datos de entrenamiento, capturando ruido y detalles que no se aplican a los datos nuevos, lo que perjudica su rendimiento. Al probar el modelo con el conjunto de validación a intervalos regulares (por ejemplo, después de cada época), los desarrolladores pueden supervisar su error de generalización. Si el rendimiento en los datos de entrenamiento continúa mejorando mientras que el rendimiento en los datos de validación se estanca o se degrada, es una clara señal de sobreajuste.

Este proceso de evaluación es crucial para el ajuste de hiperparámetros. Los hiperparámetros son ajustes de configuración externos al modelo, como la tasa de aprendizaje o el tamaño del lote (batch size), que no se aprenden de los datos. El conjunto de validación permite experimentar con diferentes combinaciones de hiperparámetros para encontrar el conjunto que produce el mejor rendimiento. Este proceso iterativo es una parte fundamental de la selección y optimización de modelos.

Datos de validación vs. Datos de entrenamiento y prueba

En un proyecto típico de ML, el conjunto de datos se divide en tres subconjuntos, y comprender sus distintas funciones es fundamental. Un enfoque común para la división de datos es asignar el 70% para el entrenamiento, el 15% para la validación y el 15% para las pruebas.

• Datos de Entrenamiento: Esta es la porción más grande de los datos, utilizada para enseñar al modelo. El modelo aprende iterativamente patrones, características y relaciones de este conjunto de datos ajustando sus pesos del modelo internos.
• Datos de validación: Este subconjunto separado se utiliza para proporcionar una evaluación imparcial durante el proceso de entrenamiento. Ayuda a ajustar los hiperparámetros y a tomar decisiones clave, como cuándo implementar la detención temprana para evitar el sobreajuste. En el ecosistema de Ultralytics, esta evaluación se gestiona en el modo de validación.
• Datos de Prueba: Este conjunto de datos se mantiene reservado hasta que el modelo esté completamente entrenado y ajustado. Se utiliza solo una vez para proporcionar una evaluación final e imparcial del rendimiento del modelo. El rendimiento del conjunto de prueba indica cómo se espera que el modelo se comporte en un escenario de implementación del mundo real.

Mantener una separación estricta, especialmente entre los conjuntos de validación y prueba, es fundamental para evaluar con precisión las capacidades de un modelo y evitar la disyuntiva entre sesgo y varianza.

Ejemplos del mundo real

1. Visión Artificial Detección de Objetos: Al entrenar un modelo Ultralytics YOLO para detectar objetos en imágenes (por ejemplo, utilizando el conjunto de datos VisDrone), una parte de las imágenes etiquetadas se reserva como datos de validación. Durante el entrenamiento, el mAP (precisión media promedio) del modelo se calcula en este conjunto de validación después de cada época. Este mAP de validación ayuda a decidir cuándo detener el entrenamiento o qué conjunto de técnicas de aumento de datos funciona mejor, antes de una comprobación final del rendimiento en el conjunto de prueba. Las estrategias eficaces de evaluación de modelos dependen en gran medida de esta división.
2. Procesamiento del Lenguaje Natural Clasificación de Texto: Al desarrollar un modelo para clasificar las reseñas de los clientes como positivas o negativas (análisis de sentimientos), se utiliza un conjunto de validación para elegir la arquitectura óptima (por ejemplo, LSTM vs. Transformer) o ajustar los hiperparámetros como las tasas de dropout. El modelo que logre la mayor puntuación F1 o precisión en el conjunto de validación se seleccionaría para la prueba final. Recursos como Hugging Face Datasets a menudo proporcionan conjuntos de datos pre-divididos para este propósito.

Validación Cruzada

Cuando la cantidad de datos disponibles es limitada, a menudo se emplea una técnica llamada Validación Cruzada (específicamente la Validación Cruzada K-Fold). Aquí, los datos de entrenamiento se dividen en 'K' subconjuntos (folds). El modelo se entrena K veces, cada vez usando K-1 folds para el entrenamiento y el fold restante como el conjunto de validación. El rendimiento se promedia luego en todas las K ejecuciones. Esto proporciona una estimación más robusta del rendimiento del modelo y hace un mejor uso de los datos limitados, como se explica en recursos como la documentación de scikit-learn y la guía de Validación Cruzada K-Fold de Ultralytics.

En resumen, los datos de validación son una piedra angular en la construcción de modelos de IA fiables y de alto rendimiento con frameworks como PyTorch y TensorFlow. Permiten el ajuste efectivo de hiperparámetros, la selección de modelos y la prevención del sobreajuste, asegurando que los modelos se generalicen bien más allá de los datos con los que fueron entrenados. Plataformas como Ultralytics HUB ofrecen herramientas integradas para gestionar estos conjuntos de datos de forma eficaz.