Licence YOLO
Retour au glossaire Ultralytics

Synthetic Data Generation

La génération de données synthétiques crée des données d’entraînement artificielles à l’aide de simulateurs, de règles procédurales, de modèles génératifs et de LLM, souvent avec des étiquettes exactes.

La génération de données synthétiques consiste à produire des images, des vidéos, des mesures de capteurs, des tableaux ou du texte artificiels à l’aide d’un simulateur, de règles procédurales ou d’un modèle génératif, afin qu’un modèle d’apprentissage automatique puisse s’entraîner sur ces données ou être évalué à partir de celles-ci. Le résultat est constitué de données synthétiques ; leur qualité dépend de quatre choix liés au processus de génération : la méthode qui crée les échantillons, la façon dont les étiquettes leur sont attribuées, l’étendue des variations de chaque scène et la méthode de comparaison avec les données réelles. En vision par ordinateur, l’intérêt majeur est qu’un générateur capable de placer chaque objet peut aussi produire son annotation de données, avec précision et sans frais.

Principales méthodes de génération#

Les simulateurs construisent une scène 3D à partir d’éléments graphiques, définissent son éclairage, ses matériaux et sa caméra, puis produisent des images accompagnées de masques, de cartes de profondeur et de boîtes englobantes exacts, puisque la description de la scène indique l’emplacement de chaque élément. Des simulateurs de conduite open source comme CARLA produisent des flux de caméra, de LiDAR et de radar pour les véhicules autonomes, tandis que les simulateurs robotiques font de même pour la préhension et la navigation. La randomisation de domaine fait varier les textures, l’éclairage et les poses d’un rendu à l’autre afin que les modèles entraînés sur ces rendus s’adaptent aux caméras réelles.

La génération procédurale utilise des scripts et des règles plutôt qu’une scène complète. Le compositing par copier-coller, popularisé par l’article « Cut, Paste and Learn » de 2017 de l’Université Carnegie Mellon, colle des recadrages d’objets segmentés sur de nouveaux arrière-plans et enregistre chaque boîte ajoutée comme étiquette. La version la plus simple dessine des formes à des positions aléatoires, et le générateur écrit l’étiquette de chaque objet au fur et à mesure qu’il le dessine :

import cv2
import numpy as np

rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
    # Random background color, then one to four contrasting discs in separate quadrants so none overlap
    background = rng.integers(0, 256, 3)
    image = np.full((320, 320, 3), background, dtype=np.uint8)
    labels = []
    for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
        r = int(rng.integers(10, 40))
        x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
        color = (background + rng.integers(64, 193, 3)) % 256
        cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
        # The generator placed the disc, so its normalized box label is exact and free
        labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
    cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
    with open(f"synthetic_{i:03d}.txt", "w") as f:
        f.write("\n".join(labels))
    boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")

Le résultat affiché est wrote 100 images with 256 exact box labels. Chaque ligne suit le format d’étiquettes YOLO et stocke la classe ainsi que le centre, la largeur et la hauteur de la boîte en fractions de la taille de l’image ; aucune ligne n’a nécessité d’annotateur humain.

Les modèles génératifs apprennent l’apparence des données réelles et en échantillonnent de nouveaux exemples. Les réseaux antagonistes génératifs (GANs) et les modèles de diffusion produisent des images photoréalistes à partir de bruit, d’une invite textuelle ou d’une image de référence. Des méthodes de conditionnement comme ControlNet fixent la disposition afin que les positions des objets restent connues. Sans ce conditionnement, les images générées doivent être annotées après coup. Pour les tableaux, les synthétiseurs statistiques ajustent une distribution conjointe aux enregistrements réels à l’aide de copules gaussiennes, de réseaux bayésiens ou de GAN conditionnels comme CTGAN (NeurIPS 2019), puis échantillonnent de nouvelles lignes.

Les grands modèles de langage génèrent des données textuelles : consignes, dialogues, exercices de programmation et traces de raisonnement. Microsoft a entraîné phi-1, un modèle de programmation de 1,3 milliard de paramètres, sur 6 milliards de jetons de texte Web filtré et 1 milliard de jetons de manuels et d’exercices rédigés par GPT-3.5. Le modèle a obtenu un score pass@1 de 50,6 % sur le banc d’essai HumanEval.

Choisir et valider une méthode#

La méthode dépend du contenu requis pour les données, et chaque méthode se termine par la même vérification par rapport aux données réelles :

La validation entraîne un modèle sur les données générées, seules ou mélangées à des données réelles, et l’évalue uniquement sur des données de test réelles mises de côté, comme dans les benchmarks Ultralytics des données synthétiques NVIDIA Cosmos pour la détection de défauts. Si l’exactitude sur les images réelles baisse à mesure que la part de données synthétiques augmente, le générateur présente une lacune de réalisme ou de couverture ; des scores au niveau de l’image comme la distance de Fréchet entre caractéristiques Inception (FID) aident à la localiser. Les générateurs entraînés sur des données réelles peuvent aussi les mémoriser ; les pipelines sensibles à la confidentialité comparent donc les enregistrements générés aux originaux, et certains ajoutent la confidentialité différentielle à l’entraînement.

Ultralytics Platform ajoute la génération à la gestion des jeux de données grâce à l’action Générer des images similaires. Cette action utilise une image d’un jeu de données pour rédiger des descriptions de nouvelles scènes qui s’en inspirent, puis génère une image par description avec le modèle Ultralytics Image 4B par défaut, de 1 à 16 images à la fois, en suivant les instructions facultatives concernant les éléments à faire varier, comme l’éclairage, le point de vue, l’arrière-plan ou les objets. Les images conservées rejoignent le jeu de données sans étiquette et sont prêtes à être annotées.

  • Augmentation des données : transforme des échantillons réels existants pendant l’entraînement au moyen de retournements, de recadrages ou de changements de couleur ; chaque résultat reste ainsi lié à un échantillon d’origine.
  • IA générative : domaine plus vaste des modèles qui créent du contenu. Les modèles génératifs sont une source de données synthétiques, au même titre que les simulateurs et les règles procédurales.
  • Données synthétiques : jeu de données produit par la génération, évalué selon sa fidélité aux données réelles, son utilité pour l’entraînement et le respect de la confidentialité.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique