Data Cleaning

Le nettoyage des données est le processus essentiel qui consiste à détecter et à corriger (ou supprimer) les enregistrements corrompus, inexacts ou non pertinents d'un ensemble d'enregistrements, d'une table ou d'une base de données. Dans le domaine de l'intelligence artificielle (AI) et de l'apprentissage automatique (ML), cette étape est souvent considérée comme la plus chronophage, mais aussi comme la partie essentielle du workflow. Avant qu'un modèle comme YOLO26 puisse apprendre efficacement à reconnaître des objets, les données d'entraînement doivent être débarrassées de leurs erreurs afin d'éviter le phénomène « Garbage In, Garbage Out », selon lequel des données d'entrée de mauvaise qualité produisent des résultats peu fiables.

L'importance de l'intégrité des données dans l'IA#

Les modèles performants de vision par ordinateur dépendent fortement de la qualité des jeux de données qu'ils utilisent. Si un jeu de données contient des images mal étiquetées, des doublons ou des fichiers corrompus, le modèle aura du mal à généraliser les motifs, ce qui entraînera du surapprentissage ou une mauvaise précision des inférences. Un nettoyage efficace des données améliore la fiabilité des modèles prédictifs et garantit que l'algorithme apprend à partir de signaux valides plutôt que du bruit.

Techniques courantes de nettoyage des données#

Les professionnels utilisent diverses stratégies pour affiner leurs jeux de données, avec des outils comme pandas pour les données tabulaires ou des outils spécialisés pour la vision.

• Gestion des valeurs manquantes : cela consiste soit à supprimer les enregistrements contenant des données manquantes, soit à utiliser des techniques d'imputation pour combler les lacunes à partir de moyennes statistiques ou des plus proches voisins.
• Suppression des doublons : les images en double dans un jeu d'entraînement peuvent involontairement biaiser le modèle. Leur suppression garantit que le modèle ne mémorise pas des exemples spécifiques, ce qui contribue à atténuer le biais du jeu de données.
• Détection des valeurs aberrantes : il est crucial d'identifier et de traiter les anomalies ou les valeurs aberrantes qui s'écartent considérablement de la norme, car elles peuvent fausser l'analyse statistique et les poids du modèle.
• Réparation structurelle : cela inclut la correction des fautes de frappe dans les étiquettes de classe (par exemple, corriger « Car » en « car ») afin de garantir la cohérence des classes.

Applications concrètes#

Le nettoyage des données joue un rôle essentiel dans divers secteurs où l'IA est déployée.

• Analyse d'images médicales : dans les applications de l'IA dans le secteur de la santé, les jeux de données contiennent souvent des scans présentant des artefacts, des métadonnées patient incorrectes ou du bruit d'arrière-plan non pertinent. Le nettoyage de ces données garantit que les modèles d'analyse d'images médicales se concentrent uniquement sur les marqueurs biologiques pertinents pour le diagnostic.
• Gestion des stocks dans le commerce de détail : pour l'IA dans le commerce de détail, les jeux de données de produits peuvent contenir des articles obsolètes ou des images dont le ratio d'aspect est incorrect. Le nettoyage de ces jeux de données garantit que les modèles de détection d'objets peuvent identifier avec précision les niveaux de stock et réduire les faux positifs dans un environnement réel.

Distinguer le nettoyage des données du prétraitement#

Bien qu'ils soient souvent utilisés comme des synonymes, le nettoyage des données se distingue du prétraitement des données. Le nettoyage des données se concentre sur la correction des erreurs et la suppression des données « mauvaises ». En revanche, le prétraitement consiste à transformer des données propres dans un format adapté au modèle, par exemple en effectuant un redimensionnement des images, une normalisation ou une augmentation des données afin d'accroître la variété.

Automatisation des contrôles qualité#

Les workflows modernes, tels que ceux disponibles sur l'Ultralytics Platform, intègrent des contrôles automatisés pour identifier les images corrompues ou les incohérences d'étiquetage avant le début de l'entraînement. Voici un exemple simple en Python qui montre comment vérifier et identifier les fichiers d'image corrompus à l'aide de la bibliothèque Pillow, une étape courante avant d'envoyer les données à un modèle comme YOLO26.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")