Datos de formación

La importancia de unos datos de formación de alta calidad

El principio de "basura entrante, basura saliente" es especialmente cierto para el entrenamiento de modelos de ML. Los datos de alta calidad son esenciales para construir sistemas robustos y fiables. Entre las características clave se incluyen:

• Pertinencia: Los datos deben reflejar con exactitud el problema que el modelo pretende resolver.
• Diversidad: Debe cubrir una amplia gama de escenarios, casos límite y variaciones que el modelo encontrará en el mundo real para evitar el sobreajuste.
• Etiquetado preciso: Las anotaciones deben ser correctas y coherentes. El proceso de etiquetado de datos suele ser la parte que más tiempo consume en un proyecto de visión por ordenador.
• Volumen suficiente: Normalmente se necesita una gran cantidad de datos para que el modelo aprenda patrones significativos. Técnicas como el aumento de datos pueden ayudar a ampliar artificialmente el conjunto de datos.
• Bajo sesgo: Los datos deben ser equilibrados y representativos para evitar el sesgo del conjunto de datos, que puede conducir a un comportamiento injusto o incorrecto del modelo. Comprender el sesgo algorítmico es un aspecto clave del desarrollo responsable de la IA.

Plataformas como Ultralytics HUB proporcionan herramientas para gestionar conjuntos de datos a lo largo del ciclo de vida de desarrollo del modelo, mientras que herramientas de código abierto como CVAT son populares para tareas de anotación.

Ejemplos reales

1. Vehículos autónomos: Para entrenar un modelo de detección de objetos para vehículos autónomos, los desarrolladores utilizan grandes cantidades de datos de entrenamiento procedentes de cámaras y sensores. Estos datos consisten en imágenes y vídeos en los que cada fotograma está meticulosamente etiquetado. Peatones, ciclistas, otros coches y señales de tráfico aparecen en recuadros delimitadores. Al entrenarse con conjuntos de datos como Argoverse o nuScenes, la IA del vehículo aprende a percibir y navegar por su entorno con seguridad.
2. Análisis de imágenes médicas: En el sector sanitario, los datos de formación para el análisis de imágenes médicas pueden consistir en miles de resonancias magnéticas o tomografías computarizadas. Los radiólogos anotan estas imágenes para resaltar tumores, fracturas u otras patologías. Un modelo ML, como el creado con Ultralytics YOLO, puede entrenarse en un conjunto de datos de tumores cerebrales para aprender a identificar estas anomalías, lo que supone una potente herramienta para ayudar a los médicos a realizar diagnósticos más rápidos y precisos. Recursos como The Cancer Imaging Archive (TCIA) proporcionan acceso público a estos datos para la investigación.

Datos de entrenamiento frente a datos de validación y prueba

En un proyecto típico de ML, los datos se dividen en tres conjuntos distintos:

• Datos de entrenamiento: La porción más grande, utilizada directamente para entrenar el modelo ajustando sus parámetros. Un entrenamiento eficaz suele implicar una cuidadosa consideración de los consejos para el entrenamiento del modelo.
• Datos de validación: Un subconjunto separado utilizado periódicamente durante el entrenamiento para evaluar el rendimiento del modelo en datos de los que no ha aprendido explícitamente. Esto ayuda a ajustar los hiperparámetros (por ejemplo, la tasa de aprendizaje, el tamaño del lote) a través de procesos como la Optimización de Hiperparámetros (Wikipedia) y proporciona una alerta temprana contra el sobreajuste. Para esta evaluación se utiliza el modo de validación.
• Datos de prueba: Un conjunto de datos independiente, no visto durante el entrenamiento y la validación, utilizado sólo después de que el modelo esté completamente entrenado. Proporcionan la evaluación final e imparcial de la capacidad de generalización del modelo y del rendimiento esperado en el mundo real. Las pruebas rigurosas del modelo son cruciales antes de su despliegue.

Mantener una separación estricta entre estos conjuntos de datos es esencial para desarrollar modelos fiables. Los modelos más avanzados suelen preentrenarse en grandes conjuntos de datos de referencia, como COCO o ImageNet, que sirven como amplios datos de entrenamiento. Puede encontrar más conjuntos de datos en plataformas como Google Dataset Search y Kaggle Datasets.