Data Cleaning

La limpieza de datos es el proceso crítico de detectar y corregir (o eliminar) registros corruptos, inexactos o irrelevantes de un conjunto de registros, tabla o base de datos. En el ámbito de la inteligencia artificial (IA) y el aprendizaje automático (ML), este paso suele considerarse la parte del flujo de trabajo que más tiempo consume y, a la vez, la más esencial. Antes de que un modelo como YOLO26 pueda aprender eficazmente a reconocer objetos, los datos de entrenamiento deben limpiarse de errores para evitar el fenómeno de "basura entra, basura sale", donde una entrada de mala calidad conduce a una salida poco fiable.

Link to this sectionLa importancia de la integridad de los datos en la IA#

Los modelos de visión artificial de alto rendimiento dependen en gran medida de la calidad de los conjuntos de datos que consumen. Si un conjunto de datos contiene imágenes mal etiquetadas, duplicados o archivos corruptos, el modelo tendrá dificultades para generalizar patrones, lo que dará lugar a sobreajuste o a una precisión de inferencia deficiente. Una limpieza de datos eficaz mejora la fiabilidad de los modelos predictivos y garantiza que el algoritmo aprenda de señales válidas en lugar de ruido.

Link to this sectionTécnicas comunes de limpieza de datos#

Los profesionales emplean diversas estrategias para refinar sus conjuntos de datos utilizando herramientas como Pandas para datos tabulares o herramientas de visión especializadas.

• Gestión de valores faltantes: Esto implica eliminar registros con datos faltantes o utilizar técnicas de imputación para cubrir los huecos basándose en promedios estadísticos o vecinos más cercanos.
• Eliminación de duplicados: Las imágenes duplicadas en un conjunto de entrenamiento pueden sesgar inadvertidamente el modelo. Eliminarlas asegura que el modelo no memorice ejemplos específicos, lo que ayuda a mitigar el sesgo del conjunto de datos.
• Detección de valores atípicos: Identificar y gestionar anomalías o valores atípicos que se desvían significativamente de la norma es crucial, ya que pueden distorsionar el análisis estadístico y los pesos del modelo.
• Reparación estructural: Esto incluye corregir errores tipográficos en las etiquetas de clase (por ejemplo, corregir "Coche" frente a "coche") para garantizar la consistencia de las clases.

Link to this sectionAplicaciones en el mundo real#

La limpieza de datos es fundamental en diversos sectores donde se despliega la IA.

• Análisis de imágenes médicas: En aplicaciones de IA para el cuidado de la salud, los conjuntos de datos suelen contener escáneres con artefactos, metadatos de pacientes incorrectos o ruido de fondo irrelevante. Limpiar estos datos garantiza que los modelos de análisis de imágenes médicas se centren únicamente en los marcadores biológicos relevantes para el diagnóstico.
• Gestión de inventario minorista: Para la IA en el comercio minorista, los conjuntos de datos de productos pueden contener artículos obsoletos o imágenes con relaciones de aspecto incorrectas. Limpiar estos conjuntos de datos asegura que los modelos de detección de objetos puedan identificar con precisión los niveles de existencias y reducir los falsos positivos en un entorno real.

Link to this sectionDiferencia entre limpieza de datos y preprocesamiento#

Aunque a menudo se usan indistintamente, la limpieza de datos es distinta del preprocesamiento de datos. La limpieza de datos se centra en corregir errores y eliminar datos "malos". Por el contrario, el preprocesamiento implica transformar datos limpios en un formato adecuado para el modelo, como el cambio de tamaño de imágenes, la normalización o la aplicación de aumento de datos para incrementar la variedad.

Link to this sectionAutomatización de comprobaciones de calidad#

Los flujos de trabajo modernos, como los disponibles en la Plataforma Ultralytics, integran comprobaciones automatizadas para identificar imágenes corruptas o inconsistencias en las etiquetas antes de que comience el entrenamiento. A continuación, se muestra un sencillo ejemplo en Python que demuestra cómo buscar e identificar archivos de imagen corruptos utilizando la biblioteca estándar Pillow, un paso común antes de introducir datos en un modelo como YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")