Datos de prueba

En el aprendizaje automático, los datos de prueba son una porción separada e independiente de un conjunto de datos que se utiliza para la evaluación final de un modelo después de que se haya entrenado y ajustado por completo. Este conjunto de datos actúa como un "examen final" para el modelo, proporcionando una evaluación imparcial de su rendimiento en datos nuevos y no vistos. El principio fundamental es que el modelo nunca debe aprender ni verse influenciado por los datos de prueba durante su desarrollo. Esta estricta separación garantiza que las métricas de rendimiento calculadas en el conjunto de prueba, como la precisión o la precisión media promedio (mAP), sean un verdadero reflejo de la capacidad del modelo para generalizar a escenarios del mundo real. Las pruebas rigurosas del modelo son un paso crítico antes de la implementación del modelo.

El papel de los datos de prueba en el ciclo de vida del ML

En un proyecto típico de Machine Learning (ML), los datos se dividen cuidadosamente para servir a diferentes propósitos. Comprender la distinción entre estas particiones es fundamental.

• Datos de Entrenamiento: Este es el subconjunto más grande de los datos, utilizado para enseñar al modelo. El modelo aprende iterativamente patrones, características y relaciones ajustando sus pesos internos basándose en los ejemplos del conjunto de entrenamiento. La creación eficaz de modelos se basa en datos de entrenamiento de alta calidad y en el seguimiento de las mejores prácticas, como las que se indican en esta guía de consejos para el entrenamiento de modelos.
• Datos de Validación: Este es un conjunto de datos separado que se utiliza durante el proceso de entrenamiento. Su propósito es proporcionar retroalimentación sobre el rendimiento del modelo en datos no vistos, lo que ayuda en el ajuste de hiperparámetros (p. ej., ajustar la tasa de aprendizaje) y prevenir el sobreajuste. Es como una prueba de práctica que ayuda a guiar la estrategia de aprendizaje. La evaluación a menudo se realiza utilizando un modo de validación dedicado.
• Datos de prueba: Este conjunto de datos se mantiene completamente aislado hasta que finalizan todo el entrenamiento y la validación. Se utiliza solo una vez para proporcionar un informe final e imparcial sobre el rendimiento del modelo. El uso de los datos de prueba para realizar ajustes adicionales al modelo invalidaría los resultados, un error al que a veces se hace referencia como "fuga de datos" o "enseñar para el examen". Esta evaluación final es esencial para comprender cómo funcionará un modelo, como un modelo Ultralytics YOLO, después de su implementación. Herramientas como Ultralytics HUB pueden ayudar a gestionar estos conjuntos de datos durante todo el ciclo de vida del proyecto.

Si bien un conjunto de datos de referencia puede servir como conjunto de pruebas, su función principal es actuar como un estándar público para comparar diferentes modelos, que a menudo se utiliza en desafíos académicos como el ImageNet Large Scale Visual Recognition Challenge (ILSVRC). Puedes ver ejemplos de esto en las páginas de comparación de modelos.

Aplicaciones en el mundo real

1. IA en la Automoción: Un desarrollador crea un modelo de detección de objetos para un vehículo autónomo utilizando miles de horas de metraje de conducción para el entrenamiento y la validación. Antes de implementar este modelo en una flota, se evalúa con un conjunto de datos de prueba. Este conjunto de prueba incluiría escenarios desafiantes y nunca antes vistos, como conducir de noche con lluvia intensa, navegar a través de una tormenta de nieve o detectar peatones parcialmente ocultos por otros objetos. El rendimiento del modelo en este conjunto de prueba, a menudo utilizando datos de puntos de referencia como nuScenes, determina si cumple con los estrictos estándares de seguridad y fiabilidad requeridos para la IA en aplicaciones de automoción.
2. Análisis de imágenes médicas: Se entrena un modelo de visión artificial (CV) para detectar signos de neumonía a partir de imágenes de rayos X de tórax procedentes de un hospital. Para garantizar que sea clínicamente útil, el modelo debe probarse en un conjunto de datos de imágenes de un sistema hospitalario diferente. Estos datos de prueba incluirían imágenes capturadas con diferentes equipos, de una población de pacientes diversa e interpretadas por diferentes radiólogos. La evaluación del rendimiento del modelo en este conjunto de pruebas externo es crucial para obtener la aprobación regulatoria, como la de la FDA, y confirmar su utilidad para la IA en la atención médica. Este proceso ayuda a garantizar que el modelo evite el sesgo del conjunto de datos y funcione de forma fiable en nuevos entornos clínicos.