Data Provenance

La provenance des données est l’historique documenté d’une donnée : son origine, l’identité de son créateur ou de son collecteur, la licence ou le consentement applicable et chaque transformation effectuée avant son utilisation par un modèle. En apprentissage automatique, la provenance couvre les images ou textes bruts, leur étiquetage, les étapes de nettoyage et de prétraitement des données, les partitions et versions des jeux de données, ainsi que les exécutions d’entraînement qui les ont utilisées, afin de pouvoir retracer tout modèle déployé jusqu’aux données d’entraînement exactes qui l’ont produit. La traçabilité des données est souvent employée comme synonyme. Lorsque l’on distingue les deux notions, la traçabilité décrit la circulation et la transformation des données dans les pipelines et les systèmes, tandis que la provenance ajoute l’origine, la propriété et les droits d’utilisation.

Le modèle PROV du W3C#

Le W3C a publié PROV, une famille de normes de représentation de la provenance, en 2013. Il décrit tout historique au moyen de trois types : les entités, comme les fichiers et les jeux de données ; les activités, comme l’annotation ou l’entraînement, qui utilisent et génèrent des entités ; et les agents, comme les personnes, les organisations ou les logiciels responsables des activités. Appliqué à un jeu de données de vision, l’enregistrement forme un graphe :

Pourquoi la provenance est importante#

La provenance sert d’abord au débogage et à la reproductibilité. Lorsque la précision baisse ou que la dérive des données apparaît en production, elle permet à un ingénieur de déterminer quel lot d’annotations, quelle caméra source ou quelle étape de nettoyage a introduit le problème, puis de relancer l’entraînement sur exactement les mêmes données. Les mêmes enregistrements révèlent les biais des jeux de données, comme un jeu de données de piétons capturé uniquement de jour ou dans un seul pays, et permettent de détecter l’empoisonnement des données : lorsque la source de chaque échantillon est connue, tous ceux provenant d’une source compromise peuvent être supprimés.

Les droits constituent le deuxième enjeu. La Data Provenance Initiative a audité plus de 1 800 jeux de données textuelles en 2023 et constaté que les licences étaient absentes pour plus de 70 % d’entre eux sur les principaux sites d’hébergement et mal classées pour plus de 50 %. En analyse d’images médicales, les enregistrements de provenance indiquent quel hôpital a fourni chaque image, le consentement ou la base juridique de son utilisation et la suppression éventuelle des identifiants, autant d’éléments dont les organisations doivent apporter la preuve en vertu des lois sur la confidentialité des données. À mesure que les images et les textes générés se répandent en ligne, suivre les échantillons qui constituent des données synthétiques contribue aussi à éviter l’effondrement des modèles, tandis que les Content Credentials intègrent ces informations de provenance directement dans les fichiers multimédias.

La réglementation l’exige désormais. Le règlement européen sur l’IA impose aux fournisseurs de systèmes à haut risque de documenter les processus de collecte et l’origine de leurs données, ainsi qu’aux fournisseurs de modèles d’IA à usage général de publier un résumé du contenu utilisé pour l’entraînement, selon un modèle diffusé par la Commission européenne en juillet 2025.

Consigner la provenance en pratique#

La provenance est recueillie à trois niveaux. La documentation des jeux de données, comme les fiches de données pour les jeux de données proposées par Timnit Gebru et ses collègues en 2018, répond aux questions sur la motivation, la composition, le processus de collecte, le prétraitement et les usages prévus d’un jeu de données ; elle complète les fiches de modèle des modèles entraînés sur celui-ci. Les outils de gestion des versions créent des instantanés des jeux de données et identifient les fichiers par hachage de contenu, de sorte qu’un modèle puisse référencer une version immuable du jeu de données. Les outils de pipeline émettent des événements de traçabilité pendant l’exécution des tâches, conformément à des spécifications ouvertes comme OpenLineage.

Le troisième niveau correspond aux métadonnées stockées dans les artefacts eux-mêmes. Chaque exécution d’entraînement Ultralytics YOLO écrit sa configuration complète, y compris le chemin du fichier YAML du jeu de données et les paramètres d’augmentation des données, dans args.yaml du répertoire d’exécution ; le point de contrôle enregistré contient les mêmes arguments d’entraînement, ainsi que la version d’Ultralytics et la date d’enregistrement :

from ultralytics import YOLO

# Charger un point de contrôle ; les fichiers de poids Ultralytics conservent une trace de l’exécution qui les a produits
model = YOLO("yolo26n.pt")
ckpt = model.ckpt

# Jeu de données et paramètres utilisés pour l’entraînement, ainsi que la version du paquet et la date d’enregistrement
print(ckpt["train_args"]["data"], ckpt["train_args"]["epochs"], ckpt["train_args"]["imgsz"])
print(ckpt["version"], ckpt["date"])

Cet enregistrement relie les poids du modèle à la référence des données et aux paramètres qui les ont produits, éléments sur lesquels s’appuient les examens de la transparence de l’IA et de la gouvernance de l’IA. Une fois l’entraînement terminé, Ultralytics supprime l’état de l’optimiseur de best.pt pour réduire la taille du fichier, mais conserve ces champs ; l’enregistrement accompagne donc le fichier déployé.