Preprocesamiento de datos

¿Por qué es importante el preprocesamiento de datos?

El principio "basura dentro, basura fuera" se aplica con fuerza al aprendizaje automático. Los modelos aprenden patrones directamente de los datos con los que se han entrenado. Si los datos de entrada son defectuosos, el modelo aprenderá patrones incorrectos o irrelevantes, lo que dará lugar a predicciones pobres y resultados poco fiables. Unos datos de alta calidad y bien preparados son cruciales para construir modelos eficaces, como Ultralytics YOLO para tareas exigentes como la detección de objetos. Un preprocesamiento adecuado de los datos contribuye significativamente a ello:

• Mejora de la precisión del modelo: Los datos limpios y bien estructurados ayudan al modelo a aprender patrones significativos con mayor eficacia.
• Mejora de la eficiencia: El preprocesamiento puede reducir los recursos informáticos necesarios para el entrenamiento simplificando los datos o reduciendo su dimensionalidad.
• Reducción del sobreajuste: Al abordar el ruido y los valores atípicos se puede evitar que el modelo aprenda estos detalles irrelevantes, mejorando su capacidad de generalización a nuevos datos y evitando el sobreajuste.
• Garantizar la fiabilidad: Un formato de datos coherente conduce a un comportamiento del modelo más estable y fiable durante el entrenamiento y la inferencia.

Técnicas habituales de preprocesamiento de datos

Durante el preprocesamiento de datos se aplican varias técnicas, a menudo combinadas, en función del tipo de datos y de la tarea específica de ML. Entre las técnicas clave se incluyen:

• Limpieza de datos: Esto implica la identificación y corrección de errores, el tratamiento de los valores que faltan (por ejemplo, a través de la imputación o eliminación), y el tratamiento de los valores atípicos o puntos de datos ruidosos. Para ello, en Python se suelen utilizar herramientas como Pandas.
• Transformación de datos: Este paso modifica los datos en un formato más adecuado.
  • Escalado: Técnicas como la Normalización (escalar los datos a un rango, normalmente de 0 a 1) o la Estandarización (escalar los datos para que tengan media cero y varianza unidad) ayudan a los algoritmos que son sensibles a las escalas de características, como los modelos basados en el descenso de gradiente. Obtenga más información sobre las técnicas de escalado en la documentación de preprocesamiento de Scikit-learn.
  • Codificación: Conversión de rasgos categóricos (como etiquetas de texto) en representaciones numéricas (por ejemplo, codificación de un punto) que los modelos pueden procesar.
• Ingeniería de rasgos: Creación de nuevas características potencialmente más informativas a partir de las existentes para mejorar el rendimiento del modelo. Esto requiere conocimientos del sector y creatividad.
• Extracción de características: Obtención automática de un conjunto más pequeño de características a partir de los datos originales conservando la información esencial. Para ello se suelen utilizar técnicas como el análisis de componentes principales (ACP).
• Reducción de la dimensionalidad: Reducción del número de características de entrada para simplificar el modelo, disminuir el tiempo de entrenamiento y mitigar el riesgo de sobreajuste, especialmente importante para Big Data.
• Preprocesamiento específico de la imagen: Para las tareas de visión por ordenador, los pasos comunes incluyen cambiar el tamaño de las imágenes a una dimensión consistente, convertir los espacios de color (por ejemplo, BGR a RGB), ajustar el brillo o el contraste, y aplicar filtros para la reducción de ruido utilizando bibliotecas como OpenCV. Ultralytics ofrece orientación sobre el preprocesamiento de datos anotados para modelos YOLO.

Aplicaciones reales

El preprocesamiento de datos es fundamental en innumerables aplicaciones de IA/ML:

1. Análisis de imágenes médicas: Antes de que un modelo de IA pueda analizar resonancias magnéticas o tomografías en busca de anomalías como tumores(ejemplo del conjunto de datos de tumores cerebrales), las imágenes deben preprocesarse. Esto suele incluir la reducción del ruido mediante filtros, la normalización de la intensidad para estandarizar los niveles de brillo en diferentes exploraciones y máquinas, y el registro de imágenes para alinear varias exploraciones. Estos pasos garantizan que el modelo reciba datos coherentes, lo que mejora su capacidad para detectar anomalías sutiles con precisión. Esto es vital para las aplicaciones de IA en la atención sanitaria.
2. Vehículos autónomos: Los coches autónomos se basan en sensores como cámaras y LiDAR. Los datos brutos de estos sensores necesitan un preprocesamiento exhaustivo. Las imágenes de las cámaras pueden requerir cambios de tamaño, corrección del color y ajustes de brillo para adaptarse a las distintas condiciones de iluminación. Los datos de nubes de puntos LiDAR pueden necesitar filtrado para eliminar ruido o puntos de tierra. Este preprocesamiento garantiza que los sistemas de detección y seguimiento de objetos reciban datos limpios y estandarizados para identificar peatones, vehículos y obstáculos de forma fiable, algo crucial para la seguridad en las aplicaciones de IA en automoción.

Preprocesamiento de datos frente a conceptos afines

Es útil distinguir el preprocesamiento de datos de términos estrechamente relacionados:

• Limpieza de datos frente a preprocesamiento de datos: La limpieza de datos es un subconjunto del preprocesamiento de datos, centrado específicamente en la identificación y corrección de errores, incoherencias y valores omitidos en el conjunto de datos. El preprocesamiento es más amplio y abarca tanto la limpieza como la transformación, el escalado y la manipulación de características.
• Aumento de datos frente a preprocesamiento de datos: El aumento de datos consiste en aumentar artificialmente el tamaño y la diversidad del conjunto de datos de entrenamiento mediante la creación de copias modificadas de los datos existentes (por ejemplo, girando o volteando imágenes). Aunque el aumento es una parte vital de la preparación de los datos para el entrenamiento, especialmente en el aprendizaje profundo, normalmente se realiza después de los pasos iniciales de preprocesamiento, como la limpieza y el cambio de tamaño. Explora los consejos para el entrenamiento de modelos, incluidas las estrategias de aumento.
• Ingeniería de características frente a preprocesamiento de datos: La ingeniería de características es el proceso de creación de nuevas características de entrada a partir de las existentes. A menudo se considera un paso dentro del proceso más amplio de preprocesamiento de datos, cuyo objetivo es mejorar el poder predictivo del modelo.
• Etiquetado de datos frente a preprocesamiento de datos: El etiquetado de datos consiste en asignar etiquetas o anotaciones significativas (como dibujar recuadros alrededor de los objetos) a los datos brutos. Esto es esencial para las tareas de aprendizaje supervisado. El etiquetado es un paso distinto que suele producirse antes o junto con el preprocesamiento. Unas etiquetas de alta calidad combinadas con un preprocesamiento eficaz son cruciales para el entrenamiento del modelo. Para más información, consulte la guía de recogida y anotación de datos de Ultralytics.

La gestión de conjuntos de datos y la aplicación de pasos de preprocesamiento pueden agilizarse utilizando plataformas como Ultralytics HUB, que ofrece herramientas para la gestión de conjuntos de datos y la formación de modelos.