Data Preprocessing

Le prétraitement des données est la première étape essentielle du pipeline de machine learning, au cours de laquelle les données brutes sont transformées en un format propre et compréhensible pour les algorithmes. Dans le monde réel, les données sont souvent incomplètes, incohérentes et dépourvues de comportements ou de tendances spécifiques, ce qui les fait apparaître comme « sales » ou « bruitées » pour un ordinateur. Le prétraitement comble l'écart entre les informations brutes et les entrées structurées requises par les réseaux neuronaux, ce qui a un impact significatif sur l'exactitude et l'efficacité du modèle final. En standardisant et en nettoyant les jeux de données, les ingénieurs s'assurent que des architectures sophistiquées comme YOLO26 peuvent apprendre des motifs pertinents plutôt que du bruit.

Pourquoi le prétraitement des données est-il important ?#

Les modèles de machine learning, en particulier ceux utilisés en vision par ordinateur, sont sensibles à la qualité et à l'échelle des données d'entrée. Sans prétraitement approprié, un modèle peut avoir du mal à converger pendant l'entraînement ou produire des prédictions peu fiables. Par exemple, si les images d'un jeu de données ont des résolutions ou des échelles de couleurs différentes, le modèle doit consacrer une capacité supplémentaire à gérer ces incohérences au lieu de se concentrer sur la tâche réelle de détection d'objets.

Les techniques de prétraitement visent généralement à :

• Améliorer la qualité des données : supprimer les erreurs, les valeurs aberrantes et les doublons afin de garantir que le jeu de données représente fidèlement le problème étudié.
• Standardiser les entrées : remettre les caractéristiques à l'échelle (comme les valeurs des pixels) dans une plage uniforme, souvent comprise entre 0 et 1, afin d'aider les algorithmes d'optimisation comme la descente de gradient à fonctionner plus efficacement.
• Réduire la complexité : simplifier les représentations des données grâce à des techniques comme la réduction de dimensionnalité, afin d'accélérer le processus d'apprentissage.

Techniques clés du prétraitement#

Plusieurs méthodes standard sont utilisées pour préparer les données à l'entraînement, chacune répondant à un objectif précis dans le pipeline de données.

• Nettoyage des données : il s'agit de gérer les valeurs manquantes (imputation), de corriger les étiquetages incohérents et de filtrer les fichiers corrompus. Dans le contexte de l'IA pour la vision, cela peut signifier supprimer les images floues ou corriger les coordonnées incorrectes des boîtes englobantes.
• Normalisation et mise à l'échelle : comme l'intensité des pixels peut varier considérablement, la normalisation des images garantit que les pixels de forte valeur ne dominent pas le processus d'apprentissage. Les méthodes courantes incluent la mise à l'échelle Min-Max et la normalisation par score Z.
• Encodage : les données catégorielles, comme les étiquettes de classe (par ex. « chat », « chien »), doivent être converties en formats numériques. Des techniques comme l'encodage one-hot ou l'encodage des étiquettes sont des pratiques standard.
• Redimensionnement et formatage : les modèles de deep learning attendent généralement des entrées d'une taille fixe. Les pipelines de prétraitement redimensionnent automatiquement les images de dimensions différentes pour les adapter à une dimension standard, comme 640x640 pixels, courante pour l'inférence en temps réel.

Applications concrètes#

Le prétraitement des données est omniprésent dans tous les secteurs et garantit que les entrées brutes se transforment en informations exploitables.

Diagnostic par imagerie médicale#

Dans le domaine de l'IA pour la santé, le prétraitement est essentiel pour analyser les radiographies ou les images IRM. Les images médicales brutes contiennent souvent du bruit provenant des capteurs, ainsi que des variations d'éclairage et de contraste selon la machine utilisée. Les étapes de prétraitement comme l'égalisation d'histogramme améliorent le contraste afin de rendre les tumeurs ou les fractures plus visibles, tandis que les filtres de réduction du bruit clarifient la structure de l'image. Cette préparation permet aux modèles d'effectuer une détection des tumeurs avec une plus grande précision, ce qui peut sauver des vies en réduisant les faux négatifs.

Conduite autonome#

Les voitures autonomes s'appuient sur les entrées de plusieurs capteurs, notamment le LiDAR, le radar et les caméras. Ces capteurs produisent des données à des fréquences et à des échelles différentes. Le prétraitement synchronise ces flux et élimine le bruit environnemental, comme la pluie ou les reflets, avant de fusionner les données. Pour les véhicules autonomes, cela garantit que le système de perception reçoit une vue cohérente de la route, ce qui permet une navigation sûre et une détection fiable des piétons dans des environnements en temps réel.

Concepts associés#

Il est important de distinguer le prétraitement des données d'autres termes utilisés dans le workflow de machine learning.

• Par rapport à l'augmentation des données : alors que le prétraitement prépare les données afin qu'elles soient techniquement utilisables par le modèle (par ex. en les redimensionnant), l'augmentation génère de nouvelles variantes des données existantes (par ex. en faisant pivoter ou en retournant les images) afin d'accroître la diversité du jeu de données. Consulte notre guide sur l'augmentation des données pour YOLO pour plus d'informations.
• Par rapport à l'ingénierie des caractéristiques : le prétraitement concerne le nettoyage et le formatage. L'ingénierie des caractéristiques consiste à créer de nouvelles variables pertinentes à partir des données afin d'améliorer les performances du modèle, par exemple en calculant un « indice de masse corporelle » à partir des colonnes de taille et de poids.
• Par rapport à l'étiquetage des données : l'étiquetage consiste à définir la vérité terrain, par exemple en traçant des boîtes englobantes autour des objets. Le prétraitement intervient après la collecte et l'étiquetage des données, mais avant leur transmission au réseau neuronal.

Exemple pratique#

Dans l'écosystème Ultralytics, le prétraitement est souvent effectué automatiquement au cours du pipeline d'entraînement. Cependant, tu peux également prétraiter manuellement les images à l'aide de bibliothèques comme OpenCV. L'extrait suivant montre comment charger une image, la redimensionner à une taille d'entrée standard pour un modèle comme YOLO26, puis normaliser les valeurs des pixels.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Pour les projets à grande échelle, l'utilisation d'outils comme la plateforme Ultralytics peut simplifier ces workflows. La plateforme facilite la gestion des jeux de données en automatisant de nombreuses tâches de prétraitement et d'annotation afin d'accélérer le passage des données brutes au modèle déployé.