Data Cleaning

Le nettoyage des données est le processus essentiel qui consiste à détecter et à corriger (ou à supprimer) les enregistrements corrompus, inexacts ou non pertinents d'un ensemble de données, d'une table ou d'une base de données. Dans le domaine de l'intelligence artificielle (IA) et de l'apprentissage automatique (ML), cette étape est souvent considérée comme la partie du flux de travail la plus chronophage et pourtant la plus indispensable. Avant qu'un modèle comme YOLO26 puisse apprendre efficacement à reconnaître des objets, les données d'entraînement doivent être débarrassées de toute erreur afin de prévenir le phénomène "Garbage In, Garbage Out" (déchets en entrée, déchets en sortie), où une mauvaise qualité de données entraîne des résultats peu fiables.

Link to this sectionL'importance de l'intégrité des données en IA#

Les modèles de vision par ordinateur performants reposent largement sur la qualité des jeux de données qu'ils utilisent. Si un jeu de données contient des images mal étiquetées, des doublons ou des fichiers corrompus, le modèle aura du mal à généraliser les modèles, ce qui conduira à un surapprentissage ou à une faible précision d'inférence. Un nettoyage efficace des données améliore la fiabilité des modèles prédictifs et garantit que l'algorithme apprend à partir de signaux valides plutôt que de bruit.

Link to this sectionTechniques courantes de nettoyage des données#

Les praticiens utilisent diverses stratégies pour affiner leurs jeux de données en s'appuyant sur des outils tels que Pandas pour les données tabulaires ou sur des outils de vision spécialisés.

• Gestion des valeurs manquantes : Cela implique soit la suppression des enregistrements comportant des données manquantes, soit l'utilisation de techniques d'imputation pour combler les lacunes sur la base de moyennes statistiques ou des plus proches voisins.
• Suppression des doublons : Les images en double dans un ensemble d'entraînement peuvent par inadvertance biaiser le modèle. Les supprimer garantit que le modèle ne mémorise pas d'exemples spécifiques, ce qui aide à atténuer le biais des jeux de données.
• Détection des valeurs aberrantes : Identifier et gérer les anomalies ou les valeurs aberrantes qui s'écartent significativement de la norme est crucial, car celles-ci peuvent fausser l'analyse statistique et les poids du modèle.
• Réparation structurelle : Cela inclut la correction des coquilles dans les étiquettes de classe (par exemple, corriger "Car" par rapport à "car") pour garantir la cohérence des classes.

Link to this sectionApplications concrètes#

Le nettoyage des données est essentiel dans divers secteurs où l'IA est déployée.

• Analyse d'images médicales : Dans les applications d'IA de santé, les jeux de données contiennent souvent des scans avec des artefacts, des métadonnées patients incorrectes ou des bruits de fond non pertinents. Nettoyer ces données permet aux modèles d'analyse d'images médicales de se concentrer uniquement sur les marqueurs biologiques pertinents pour le diagnostic.
• Gestion des stocks dans le commerce de détail : Pour l'IA dans le commerce de détail, les jeux de données produits peuvent contenir des articles obsolètes ou des images avec des rapports hauteur/largeur incorrects. Nettoyer ces jeux de données garantit que les modèles de détection d'objets peuvent identifier avec précision les niveaux de stock et réduire les faux positifs dans un environnement réel.

Link to this sectionDistinguer le nettoyage des données du prétraitement#

Bien qu'ils soient souvent utilisés de manière interchangeable, le nettoyage des données est distinct du prétraitement des données. Le nettoyage des données se concentre sur la correction des erreurs et la suppression des "mauvaises" données. À l'inverse, le prétraitement implique la transformation des données propres en un format adapté au modèle, tel que le redimensionnement d'images, la normalisation ou l'application d'augmentation de données pour accroître la diversité.

Link to this sectionAutomatisation des contrôles de qualité#

Les flux de travail modernes, tels que ceux disponibles sur la plateforme Ultralytics, intègrent des vérifications automatisées pour identifier les images corrompues ou les incohérences d'étiquetage avant le début de l'entraînement. Vous trouverez ci-dessous un exemple Python simple démontrant comment vérifier et identifier des fichiers image corrompus en utilisant la bibliothèque Pillow standard, une étape courante avant d'injecter des données dans un modèle comme YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")