Data Cleaning

Le nettoyage des données est le processus critique qui consiste à détecter et à corriger (ou à supprimer) les enregistrements corrompus, inexacts ou non pertinents d'un ensemble d'enregistrements, d'une table ou d'une base de données. Dans le domaine de l'artificial intelligence (AI) et du machine learning (ML), cette étape est souvent considérée comme la plus chronophage mais aussi la plus essentielle du flux de travail. Avant qu'un modèle tel que YOLO26 ne puisse apprendre efficacement à reconnaître des objets, les training data doivent être débarrassés de leurs erreurs pour éviter le phénomène « Garbage In, Garbage Out », où des données d'entrée de mauvaise qualité conduisent à des résultats non fiables.

L'importance de l'intégrité des données en IA#

Les modèles de computer vision performants dépendent fortement de la qualité des jeux de données qu'ils utilisent. Si un jeu de données contient des images mal étiquetées, des doublons ou des fichiers corrompus, le modèle aura du mal à généraliser les motifs, ce qui entraînera un overfitting ou une mauvaise inference accuracy. Un nettoyage efficace des données améliore la reliability of predictive models et garantit que l'algorithme apprend à partir de signaux valides plutôt que de bruit.

Techniques courantes de nettoyage des données#

Les praticiens emploient diverses stratégies pour affiner leurs jeux de données à l'aide d'outils tels que Pandas pour les données tabulaires ou d'outils de vision spécialisés.

• Gestion des valeurs manquantes : cela implique soit de supprimer les enregistrements comportant des données manquantes, soit d'utiliser des imputation techniques pour combler les lacunes sur la base de moyennes statistiques ou des plus proches voisins.
• Suppression des doublons : les images en double dans un jeu d'entraînement peuvent biaiser involontairement le modèle. Leur suppression garantit que le modèle ne mémorise pas d'exemples spécifiques, ce qui aide à atténuer le dataset bias.
• Détection des valeurs aberrantes : identifier et gérer les anomalies ou les outliers qui s'écartent significativement de la norme est crucial, car ceux-ci peuvent fausser l'analyse statistique et les poids du modèle.
• Réparation structurelle : cela inclut la correction des fautes de frappe dans les étiquettes de classe (par exemple, corriger « Car » par rapport à « car ») pour garantir la class consistency.

Applications concrètes#

Le nettoyage des données est essentiel dans divers secteurs où l'IA est déployée.

• Analyse d'images médicales : dans les healthcare AI applications, les jeux de données contiennent souvent des scans comportant des artefacts, des métadonnées de patients incorrectes ou un bruit de fond non pertinent. Nettoyer ces données garantit que les modèles de medical image analysis se concentrent uniquement sur les marqueurs biologiques pertinents pour le diagnostic.
• Gestion des stocks de vente au détail : pour l'AI in retail, les jeux de données de produits peuvent contenir des articles obsolètes ou des images avec des rapports d'aspect incorrects. Le nettoyage de ces jeux de données garantit que les modèles d'object detection peuvent identifier avec précision les niveaux de stock et réduire les faux positifs dans un environnement réel.

Distinguer le nettoyage des données du prétraitement#

Bien qu'ils soient souvent utilisés de manière interchangeable, le nettoyage des données est distinct du data preprocessing. Le nettoyage des données se concentre sur la correction des erreurs et la suppression des « mauvaises » données. En revanche, le prétraitement consiste à transformer des données propres dans un format adapté au modèle, tel que le image resizing, la normalisation ou l'application de data augmentation pour accroître la variété.

Automatisation des contrôles de qualité#

Les flux de travail modernes, tels que ceux disponibles sur la Ultralytics Platform, intègrent des vérifications automatisées pour identifier les images corrompues ou les incohérences d'étiquetage avant le début de l'entraînement. Vous trouverez ci-dessous un exemple Python simple démontrant comment vérifier et identifier les fichiers image corrompus à l'aide de la Pillow library standard, une étape courante avant d'injecter des données dans un modèle comme YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")