Synthetic Data

Les données synthétiques sont des informations produites par une simulation, un ensemble de règles ou un modèle d’IA générative, plutôt que mesurées à partir d’événements réels. Elles sont conçues pour reproduire les caractéristiques statistiques des données réelles qu’elles représentent. Une scène de rue rendue, un tableau de dossiers médicaux fictifs dont les colonnes sont corrélées comme dans des dossiers réels et un exercice de mathématiques rédigé par un modèle de langage sont autant d’exemples de données synthétiques. Comme le générateur crée chaque exemple, il en connaît aussi la réponse : une image rendue est donc accompagnée de boîtes englobantes exactes, de masques de segmentation et de valeurs de profondeur, sans coût d’annotation. La génération de données synthétiques est le processus qui les produit, du rendu par moteur de jeu aux modèles de diffusion.

Types de données synthétiques#

En 1993, le statisticien Donald Rubin a proposé les données entièrement synthétiques pour permettre aux organismes de recensement de publier des dossiers détaillés sans divulguer les réponses de personnes interrogées réelles. Le domaine distingue toujours trois types de données :

• Données entièrement synthétiques : chaque dossier ou image provient d’un générateur, comme dans un jeu de données rendu à partir de scènes 3D ou un tableau échantillonné à partir d’un modèle ajusté sur des dossiers réels.
• Données partiellement synthétiques : seuls les champs sensibles sont remplacés, par exemple les revenus synthétisés dans un fichier d’enquête, tandis que le reste de chaque dossier demeure réel.
• Jeux de données hybrides : des exemples réels et synthétiques partagent un même jeu d’entraînement, tandis que les jeux de validation et de test restent réels afin que les métriques reflètent la précision dans le monde réel.

Les données synthétiques couvrent toutes les modalités : images et vidéos provenant de simulateurs, flux LiDAR et radar, dossiers tabulaires, séries temporelles et textes rédigés par des grands modèles de langage.

Pourquoi utiliser des données synthétiques#

Les données synthétiques comblent des lacunes que la collecte de données réelles ne peut pas combler. Les collisions, les défauts rares et les conditions météorologiques extrêmes sont trop dangereux ou trop rares pour être enregistrés en grand nombre ; les simulateurs peuvent donc les générer à la demande pour la perception automobile et la robotique. Les dossiers qui n’ont jamais appartenu à une personne réelle réduisent le risque d’exposer des patients ou des clients, ce qui compte au regard des règles de confidentialité des données dans les secteurs de la santé et de la finance. Les générateurs peuvent aussi suréchantillonner des classes, des teints de peau ou des points de vue sous-représentés afin de corriger le biais des jeux de données. Des chercheurs de Microsoft ont montré que cette approche pouvait remplacer entièrement les images réelles pour certaines tâches : dans leur article ICCV 2021 Fake It Till You Make It, ils ont entraîné des modèles de localisation de points clés du visage et de segmentation du visage uniquement sur des visages rendus, et obtenu une précision équivalente à celle de modèles entraînés sur de vraies photos.

La géométrie dense est une autre raison courante d’utiliser des données synthétiques. Les modèles d’estimation de profondeur Ultralytics YOLO26 sont préentraînés sur un mélange d’environ 2,19 millions d’images, qui comprend trois sources synthétiques : les scènes intérieures à lancer de rayons d’Apple dans Hypersim, les environnements AirSim de TartanAir et les scènes de conduite KITTI rendues à nouveau sous diverses conditions météorologiques et d’éclairage dans Virtual KITTI 2. Chaque source fournit une valeur de profondeur pour chaque pixel, tandis que les scans LiDAR réels de KITTI dans le même mélange ne couvrent que des points épars.

Mesurer la qualité des données synthétiques#

Les jeux de données synthétiques sont évalués selon trois propriétés. La fidélité mesure leur degré de correspondance avec les distributions réelles, qu’il s’agisse des moyennes et corrélations des colonnes dans les tableaux ou de scores de réalisme des images tels que la distance de Fréchet-Inception (FID). L’utilité mesure si un modèle entraîné sur des données synthétiques fonctionne sur des données réelles ; on l’évalue généralement en entraînant le modèle sur des données synthétiques et en le testant sur des données réelles (TSTR). La confidentialité mesure si des dossiers réels sont divulgués, à l’aide des distances au dossier réel le plus proche, d’attaques par inférence d’appartenance ou de garanties formelles de confidentialité différentielle sur le générateur.

Cette vérification TSTR ajuste une loi gaussienne pour chaque classe d’un tableau médical réel, puis entraîne le même classificateur sur des lignes réelles et synthétiques :

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# Real breast tumor measurements, split into training rows and a held-out real test set
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# Fully synthetic training set: 500 rows per class sampled from a Gaussian fit to that class's real rows
rng = np.random.default_rng(0)
classes = [X_train[y_train == c] for c in (0, 1)]
X_syn = np.vstack([rng.multivariate_normal(rows.mean(0), np.cov(rows.T), 500) for rows in classes])
y_syn = np.repeat([0, 1], 500)

# Train the same classifier on real or on synthetic rows, then test both on the same real rows
for name, (X_fit, y_fit) in {"real": (X_train, y_train), "synthetic": (X_syn, y_syn)}.items():
    model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X_fit, y_fit)
    print(f"trained on {name} data: {model.score(X_test, y_test):.1%} accuracy on real test data")

Le modèle entraîné sur les lignes réelles obtient un score de 97,7 %, et celui entraîné sur 1 000 lignes synthétiques obtient 95,9 %. L’écart de 1,8 point mesure le signal que le simple générateur gaussien n’a pas réussi à capter, et aucune des lignes synthétiques ne copie le dossier d’un patient réel.

Risques et limites#

Un modèle peut apprendre les raccourcis d’un moteur de rendu, comme des contours parfaits ou des textures répétées, puis échouer sur des images réelles. Cet écart entre simulation et réalité peut être réduit par la randomisation de domaine, en mélangeant des données réelles ou en procédant à un ajustement fin sur un petit jeu de données réel. Un générateur hérite aussi des angles morts des données sur lesquelles il a été entraîné ; il produit donc rarement les cas de longue traîne qui ont motivé son utilisation, à moins qu’ils soient explicitement spécifiés. L’entraînement répété de modèles génératifs sur leurs propres sorties provoque un effondrement du modèle. Dans un article de Nature de 2024, Shumailov et ses collègues ont montré que ce phénomène efface d’abord les cas rares de la distribution d’origine.

Données synthétiques et notions apparentées#

• Augmentation des données : transforme des exemples réels existants par des retournements, des recadrages et des changements de couleur ; chaque nouvel échantillon provient donc d’un exemple d’origine spécifique.
• Jumeau numérique : modèle virtuel d’un actif réel spécifique, maintenu à jour à partir de ses données de capteurs. Le rendu d’un jumeau constitue un moyen de produire des données synthétiques sur cet actif.
• Données anonymisées : dossiers réels dont les noms et les identifiants ont été supprimés ou masqués, de sorte que chaque ligne décrit toujours une personne réelle.