Data Drift

La dérive des données est une modification de la distribution statistique des données d’entrée reçues par un modèle déployé, par rapport aux données sur lesquelles il a été entraîné. Les modèles supposent que les entrées en production proviennent de la même distribution que leurs données d’entraînement ; lorsque cette hypothèse ne tient plus, la précision peut diminuer sans message d’erreur ni modification du code ou des poids du modèle. Parmi les causes courantes dans les systèmes de vision, on trouve de nouvelles caméras ou lentilles, des changements d’éclairage et de saison, un changement d’angle de caméra, de nouveaux emballages de produits et des modifications en amont du pipeline, comme un réglage différent de compression d’image. La détection de la dérive et les mesures prises pour y répondre sont des tâches essentielles de la surveillance des modèles et des opérations de machine learning (MLOps).

Types de décalage de distribution#

Un classificateur modélise la probabilité d’une étiquette sachant une entrée ; le décalage peut concerner les entrées, les étiquettes ou la relation entre les deux :

• Décalage de covariables : La distribution des entrées change, tandis que l’étiquette correcte pour une entrée donnée reste la même. Un détecteur entraîné sur des images de jour qui commence à recevoir des séquences filmées au crépuscule est confronté à un décalage de covariables, car une voiture reste une voiture. Au sens strict, la dérive des données désigne ce cas.
• Décalage des étiquettes : Également appelé décalage des probabilités a priori, il correspond à une modification des fréquences des classes. Si le taux de défauts d’une chaîne de production passe de 1 % à 5 %, la proportion de fausses alertes du détecteur diminue en conséquence, et sa précision change, même si le modèle et l’apparence de chaque défaut restent inchangés.
• Dérive de concept : La relation entre les entrées et les étiquettes change ; une même entrée peut donc désormais mériter une étiquette différente. Les schémas de fraude évoluent à mesure que les fraudeurs s’adaptent, et un resserrement des normes de qualité transforme en pièces rejetées des pièces auparavant acceptées.

La dérive peut être soudaine, par exemple lors du remplacement d’une caméra, progressive, par exemple lorsque la saleté s’accumule sur une lentille, ou récurrente, par exemple avec les feuilles et la neige selon les saisons.

Détection de la dérive des données#

La détection de dérive compare un échantillon de référence, généralement les données de validation ou d’entraînement, avec une fenêtre récente de données de production. Sans étiquettes, les équipes vérifient si les deux distributions d’entrée diffèrent à l’aide du test de Kolmogorov-Smirnov à deux échantillons (KS) pour les caractéristiques continues, du test du khi carré pour les variables catégorielles ou de l’indice de stabilité de la population (PSI), courant dans l’évaluation du crédit. Les pixels bruts sont trop dimensionnels pour être comparés directement ; la surveillance des images examine donc des statistiques récapitulatives, comme la luminosité et la netteté, ou les plongements d’un réseau préentraîné. Une étude des méthodes de détection de décalage a établi que les tests à deux échantillons appliqués aux représentations de classificateurs préentraînés donnaient les meilleurs résultats. Les sorties du modèle lui-même constituent un second signal : les changements dans la fréquence des classes prédites, le nombre de boîtes par image ou les scores de confiance apparaissent souvent avant que quiconque ne mesure la précision.

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Mean brightness (0-255) of 500 training images and two batches of 200 production images
reference = rng.normal(130, 25, 500)
same_light = rng.normal(130, 25, 200)
dusk = rng.normal(110, 25, 200)

# Two-sample Kolmogorov-Smirnov test: a small p-value means the distributions differ
for name, batch in (("same light", same_light), ("dusk", dusk)):
    result = ks_2samp(reference, batch)
    drifted = result.pvalue < 0.01
    print(f"{name}: KS statistic {result.statistic:.3f}, p-value {result.pvalue:.2g}, drift {drifted}")

Le lot tiré de la distribution d’entraînement obtient une statistique KS de 0,046 et une valeur p de 0,91 ; le lot dont la luminosité moyenne a baissé de 20 niveaux obtient une statistique de 0,346 et une valeur p de 1.1e-15, ce qui déclenche une alerte. La statistique KS correspond à l’écart maximal entre les deux distributions cumulées. Avec des échantillons très volumineux, même des décalages sans conséquence produisent de très petites valeurs p ; les alertes de dérive sont donc souvent définies à partir de la statistique KS elle-même, qui mesure l’ampleur du décalage, plutôt que de la seule valeur p.

Réagir à la dérive#

Seules de nouvelles étiquettes permettent de savoir si un décalage détecté a réduit la précision. La procédure habituelle consiste à échantillonner des données récentes de production, à les étiqueter, à mesurer la précision moyenne (mAP) ou d’autres métriques de la tâche, puis à réentraîner le modèle ou à l’ajuster finement sur un mélange de nouvelles données et de données d’origine si ses performances ont baissé, en conservant les anciens exemples pour éviter l’oubli catastrophique. L’augmentation des données, comme les changements de luminosité, de flou et de couleur, prépare un modèle aux variations prévisibles, tandis que l’adaptation de domaine non supervisée l’adapte à un nouveau domaine à l’aide de données cibles non étiquetées. Sur Ultralytics Platform, l’onglet Monitoring d’un point de terminaison dédié affiche l’évolution de la confiance moyenne des prédictions, du nombre d’éléments par classe, ainsi que de la taille et de l’emplacement des boîtes pour les images traitées ; les exemples récents peuvent être enregistrés dans un jeu de données afin d’être examinés et de servir au réentraînement.

Dérive des données et notions apparentées#

• Dérive du modèle : Baisse des performances d’un modèle au fil du temps, causée par la dérive des données et la dérive de concept. Également appelée dégradation du modèle.
• Décalage entre entraînement et service : Décalage entre les données d’entraînement et de production causé par des traitements différents dans les deux pipelines, comme une autre méthode de redimensionnement ; il est présent dès le premier jour du déploiement au lieu d’apparaître au fil du temps.
• Détection d’anomalies : Signale des entrées individuelles qui diffèrent de la norme, comme une seule image corrompue. La détection de dérive compare des distributions entières et signale une semaine d’images uniformément plus sombres.
• Détection hors distribution (OOD) : Évalue à quel point chaque entrée diffère des données d’entraînement, généralement pour permettre au modèle de s’abstenir ou de transmettre cette entrée à une personne.