Synthetic Data Generation
La génération de données synthétiques crée des données d’entraînement artificielles à l’aide de simulateurs, de règles procédurales, de modèles génératifs et de LLM, souvent avec des étiquettes exactes.
La génération de données synthétiques consiste à produire des images, des vidéos, des mesures de capteurs, des tableaux ou du texte artificiels à l’aide d’un simulateur, de règles procédurales ou d’un modèle génératif, afin qu’un modèle d’apprentissage automatique puisse s’entraîner sur ces données ou être évalué à partir de celles-ci. Le résultat est constitué de données synthétiques ; leur qualité dépend de quatre choix liés au processus de génération : la méthode qui crée les échantillons, la façon dont les étiquettes leur sont attribuées, l’étendue des variations de chaque scène et la méthode de comparaison avec les données réelles. En vision par ordinateur, l’intérêt majeur est qu’un générateur capable de placer chaque objet peut aussi produire son annotation de données, avec précision et sans frais.
Principales méthodes de génération#
Les simulateurs construisent une scène 3D à partir d’éléments graphiques, définissent son éclairage, ses matériaux et sa caméra, puis produisent des images accompagnées de masques, de cartes de profondeur et de boîtes englobantes exacts, puisque la description de la scène indique l’emplacement de chaque élément. Des simulateurs de conduite open source comme CARLA produisent des flux de caméra, de LiDAR et de radar pour les véhicules autonomes, tandis que les simulateurs robotiques font de même pour la préhension et la navigation. La randomisation de domaine fait varier les textures, l’éclairage et les poses d’un rendu à l’autre afin que les modèles entraînés sur ces rendus s’adaptent aux caméras réelles.
La génération procédurale utilise des scripts et des règles plutôt qu’une scène complète. Le compositing par copier-coller, popularisé par l’article « Cut, Paste and Learn » de 2017 de l’Université Carnegie Mellon, colle des recadrages d’objets segmentés sur de nouveaux arrière-plans et enregistre chaque boîte ajoutée comme étiquette. La version la plus simple dessine des formes à des positions aléatoires, et le générateur écrit l’étiquette de chaque objet au fur et à mesure qu’il le dessine :
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")Le résultat affiché est wrote 100 images with 256 exact box labels. Chaque ligne suit le format d’étiquettes YOLO et stocke la classe ainsi que le centre, la largeur et la hauteur de la boîte en fractions de la taille de l’image ; aucune ligne n’a nécessité d’annotateur humain.
Les modèles génératifs apprennent l’apparence des données réelles et en échantillonnent de nouveaux exemples. Les réseaux antagonistes génératifs (GANs) et les modèles de diffusion produisent des images photoréalistes à partir de bruit, d’une invite textuelle ou d’une image de référence. Des méthodes de conditionnement comme ControlNet fixent la disposition afin que les positions des objets restent connues. Sans ce conditionnement, les images générées doivent être annotées après coup. Pour les tableaux, les synthétiseurs statistiques ajustent une distribution conjointe aux enregistrements réels à l’aide de copules gaussiennes, de réseaux bayésiens ou de GAN conditionnels comme CTGAN (NeurIPS 2019), puis échantillonnent de nouvelles lignes.
Les grands modèles de langage génèrent des données textuelles : consignes, dialogues, exercices de programmation et traces de raisonnement. Microsoft a entraîné phi-1, un modèle de programmation de 1,3 milliard de paramètres, sur 6 milliards de jetons de texte Web filtré et 1 milliard de jetons de manuels et d’exercices rédigés par GPT-3.5. Le modèle a obtenu un score pass@1 de 50,6 % sur le banc d’essai HumanEval.
Choisir et valider une méthode#
La méthode dépend du contenu requis pour les données, et chaque méthode se termine par la même vérification par rapport aux données réelles :
La validation entraîne un modèle sur les données générées, seules ou mélangées à des données réelles, et l’évalue uniquement sur des données de test réelles mises de côté, comme dans les benchmarks Ultralytics des données synthétiques NVIDIA Cosmos pour la détection de défauts. Si l’exactitude sur les images réelles baisse à mesure que la part de données synthétiques augmente, le générateur présente une lacune de réalisme ou de couverture ; des scores au niveau de l’image comme la distance de Fréchet entre caractéristiques Inception (FID) aident à la localiser. Les générateurs entraînés sur des données réelles peuvent aussi les mémoriser ; les pipelines sensibles à la confidentialité comparent donc les enregistrements générés aux originaux, et certains ajoutent la confidentialité différentielle à l’entraînement.
Ultralytics Platform ajoute la génération à la gestion des jeux de données grâce à l’action Générer des images similaires. Cette action utilise une image d’un jeu de données pour rédiger des descriptions de nouvelles scènes qui s’en inspirent, puis génère une image par description avec le modèle Ultralytics Image 4B par défaut, de 1 à 16 images à la fois, en suivant les instructions facultatives concernant les éléments à faire varier, comme l’éclairage, le point de vue, l’arrière-plan ou les objets. Les images conservées rejoignent le jeu de données sans étiquette et sont prêtes à être annotées.
Génération de données synthétiques et termes connexes#
- Augmentation des données : transforme des échantillons réels existants pendant l’entraînement au moyen de retournements, de recadrages ou de changements de couleur ; chaque résultat reste ainsi lié à un échantillon d’origine.
- IA générative : domaine plus vaste des modèles qui créent du contenu. Les modèles génératifs sont une source de données synthétiques, au même titre que les simulateurs et les règles procédurales.
- Données synthétiques : jeu de données produit par la génération, évalué selon sa fidélité aux données réelles, son utilité pour l’entraînement et le respect de la confidentialité.










