Qu'est-ce que les données synthétiques en vision par ordinateur ? Un aperçu

Les données ont toujours été un moteur dans des domaines comme l'analytique et l'intelligence artificielle (IA). En fait, la manière dont nous collectons, générons et utilisons les données façonne l'avenir des systèmes intelligents. Par exemple, les voitures autonomes dépendent de millions d'images étiquetées et de relevés de capteurs, des panneaux de signalisation aux mouvements des piétons, pour apprendre à naviguer sur les routes en toute sécurité.

L'un des types de données les plus essentiels alimentant ces progrès, en particulier dans des domaines tels que les véhicules autonomes et la sécurité, est constitué par les données visuelles comme les images et les vidéos.

En particulier, le domaine de l'IA qui permet aux machines d'interpréter ces informations visuelles est appelé vision par ordinateur. Cela aide les systèmes à comprendre et à analyser les entrées visuelles tout comme le font les humains, prenant en charge des tâches telles que la reconnaissance faciale, la détection des panneaux de signalisation et l'analyse d'images médicales.

Cependant, rassembler des jeux de données visuelles à grande échelle et de haute qualité provenant du monde réel peut prendre du temps, coûter cher et soulève souvent des problèmes de confidentialité. C'est pourquoi les chercheurs explorent activement le concept de l'exploitation des données synthétiques.

Les données synthétiques font référence à des visuels générés artificiellement qui imitent étroitement les images et vidéos réelles. Elles sont créées à l'aide de techniques telles que la modélisation 3D, les simulations informatiques et les méthodes d'IA générative comme les réseaux antagonistes génératifs (GAN), qui apprennent des modèles à partir de données réelles pour produire de nouveaux exemples réalistes.

Les données synthétiques devraient jouer un rôle crucial dans le développement de l'IA très prochainement - Gartner prédisant que d'ici 2030, elles deviendront plus essentielles que les données du monde réel. Dans cet article, nous explorerons ce que sont les données synthétiques dans le contexte de la vision par ordinateur, comment elles sont générées et où elles sont appliquées dans des scénarios réels. Commençons !

Link to this sectionQu'est-ce que les données synthétiques en vision par ordinateur ?#

Supposons que tu veuilles entraîner un modèle d'IA de vision pour détecter des objets dans des environnements et des conditions variés. Se reposer uniquement sur des données du monde réel peut être difficile et parfois sembler limité.

Parallèlement, les données synthétiques peuvent être utilisées pour créer le bon jeu de données, contenant des objets dans diverses conditions créées artificiellement. En utilisant des outils comme la modélisation 3D et les simulations, les développeurs peuvent générer des images avec un contrôle précis sur des facteurs comme l'éclairage, les angles et le placement des objets. Cela offre, à son tour, plus de flexibilité pour l'entraînement des modèles que les données du monde réel.

Les données synthétiques sont particulièrement utiles lorsque la collecte de données réelles est difficile ou impossible. Par exemple, entraîner un modèle à reconnaître des personnes dans un large éventail de postures, comme courir, s'accroupir ou s'allonger, nécessiterait de capturer des milliers de photos dans de nombreux contextes, angles et conditions d'éclairage différents.

D'un autre côté, avec les données synthétiques, tu peux facilement générer ces variations avec des étiquettes précises, ce qui permet d'économiser du temps et des efforts tout en améliorant les performances du modèle.

Fig 1. Un jeu de données synthétique avec différentes postures humaines et variations d'éclairage (source).

Link to this sectionDonnées synthétiques vs réelles dans l'IA#

Ensuite, examinons de plus près les différences entre les données synthétiques et les données réelles. Les deux présentent des avantages et des inconvénients lorsqu'il s'agit d'entraîner des modèles d'IA.

Par exemple, les données synthétiques sont utiles lorsque les données réelles sont difficiles à collecter, mais elles pourraient ne pas capturer chaque petit détail trouvé dans la vie réelle. En même temps, les données réelles sont plus authentiques, mais elles peuvent être difficiles à obtenir, chronophages à étiqueter et pourraient ne pas couvrir toutes les situations.

En combinant des données synthétiques et réelles, tu peux obtenir le meilleur des deux mondes. Cet équilibre aide les modèles d'IA à apprendre plus précisément, à mieux généraliser dans différents scénarios et à réduire les biais.

Fig 2. Données synthétiques vs réelles dans l'IA. Image par l'auteur.

Link to this sectionUn regard sur la génération de données pour les modèles de vision par ordinateur#

De la construction de mondes virtuels avec des outils 3D à la génération d'images utilisant l'IA générative, voici quelques méthodes courantes utilisées pour créer des données d'entraînement synthétiques pour les modèles de vision par ordinateur :

• Modélisation 3D : Les développeurs utilisent des logiciels 3D pour créer des objets et des scènes numériques. Cela permet un contrôle total sur des éléments comme l'éclairage, les angles de caméra et le placement des objets, et est utile pour générer des images réalistes de personnes, de véhicules et d'environnements.
• Simulations : Celles-ci recréent des situations réelles, comme le trafic ou les environnements d'usine, en utilisant des moteurs basés sur la physique. Les simulations sont utiles pour générer en toute sécurité des données d'entraînement dans des domaines comme la robotique et les voitures autonomes.
• Réseaux antagonistes génératifs (GAN) : Les GAN sont un type de modèle d'apprentissage profond composé de deux réseaux : l'un qui crée des images et l'autre qui les évalue. Ensemble, ils génèrent des images hautement réalistes, telles que des visages humains ou des vues de rue, en apprenant à partir d'exemples réels.
• Génération procédurale : Cette technique utilise des règles prédéfinies ou des modèles mathématiques pour générer automatiquement des structures visuelles complexes comme le terrain, les bâtiments ou les textures. Elle est souvent utilisée dans les plateformes de jeu et de simulation et peut produire des jeux de données vastes et diversifiés avec un minimum d'intervention humaine.
• Randomisation de domaine : Elle peut changer aléatoirement des éléments comme l'éclairage, les couleurs et les formes des objets dans des scènes synthétiques. L'objectif derrière cette technique est d'aider les modèles à se concentrer sur ce qui compte vraiment, les rendant plus adaptables aux environnements du monde réel.

Fig 3. Exemples de données : (a) basées sur un modèle 3D, (b) scènes multi-objets synthétiques, et (c) images de jeux de données réels (source).

Link to this sectionEntraînement de modèles de vision par IA avec des données synthétiques#

Maintenant que nous avons discuté de certaines des différentes méthodes utilisées pour créer des données synthétiques, voyons comment elles sont utilisées pour entraîner des modèles d'IA.

Une fois générées, les données synthétiques peuvent généralement être intégrées directement dans le pipeline d'entraînement de la même manière que les données réelles. Elles incluent généralement les annotations nécessaires, telles que les étiquettes d'objets, les boîtes englobantes (bbox) ou les masques de segmentation, ce qui signifie qu'elles peuvent être utilisées pour des tâches d'apprentissage supervisé, où les modèles apprennent à partir de paires entrée-sortie étiquetées, sans avoir besoin d'étiquetage manuel.

Pendant l'entraînement, le modèle traite les images synthétiques pour apprendre à détecter des caractéristiques, reconnaître des motifs et classer des objets. Ces données peuvent être utilisées pour construire une version initiale du modèle à partir de zéro ou pour enrichir un jeu de données existant, aidant ainsi à améliorer les performances du modèle.

Dans de nombreux flux de travail, les données synthétiques sont également utilisées pour le pré-entraînement, donnant aux modèles une compréhension fondamentale large avant d'être affinés avec des exemples réels. De même, elles sont utilisées pour augmenter les jeux de données en introduisant des variations contrôlées, comme différentes conditions d'éclairage, des angles ou des classes d'objets rares, afin d'améliorer la généralisation et de réduire le surapprentissage.

En combinant des données synthétiques et réelles, les équipes peuvent entraîner des modèles plus robustes qui fonctionnent bien dans un large éventail de conditions, tout en réduisant la dépendance aux efforts de collecte manuelle de données, chronophages et coûteux.

Link to this sectionApplications concrètes des données synthétiques dans la vision par ordinateur#

À mesure que les données synthétiques deviennent plus pratiques et accessibles, nous commençons à les voir adoptées dans une variété de cas d'utilisation de l'IA de vision réelle. Explorons certaines des applications en vision par ordinateur les plus marquantes où elles sont utilisées.

Link to this sectionUtiliser des données synthétiques pour la détection d'objets dans les véhicules autonomes#

Enseigner aux voitures autonomes à conduire en toute sécurité nécessite d'entraîner des modèles sur un large éventail de scénarios, y compris des situations rares ou dangereuses. Cependant, collecter des données réelles pour ces cas limites peut être difficile et parfois dangereux. Les données synthétiques peuvent aider à créer des scènes où les modèles peuvent apprendre à détecter des objets dans des situations difficiles. Elles peuvent également imiter différentes configurations de capteurs, ce qui est utile car toutes les voitures autonomes n'utilisent pas le même matériel.

La plateforme NVIDIA’s DRIVE Sim en est un excellent exemple. Elle crée des données synthétiques de haute qualité en utilisant des modèles 3D photoréalistes, des environnements virtuels et des simulations de capteurs. Elle peut également générer des images de plusieurs angles de conduite à partir d'une seule image. L'utilisation de données synthétiques comme celle-ci aide à réduire le besoin de tests réels coûteux tout en donnant au modèle la variété dont il a besoin pour apprendre efficacement.

Fig 4. Création de multiples vues de conduite à partir d'une image (source).

Link to this sectionRéduire les biais dans l'IA d'imagerie médicale avec des données synthétiques#

Les modèles de vision par ordinateur comme Ultralytics YOLO11 qui prennent en charge des tâches telles que la détection d'objets et la segmentation d'instance peuvent être entraînés sur mesure pour des applications d'imagerie médicale. Cependant, les données d'entraînement réelles contiennent souvent des biais, car elles peuvent ne pas représenter adéquatement les patients de tous les groupes démographiques.

Par exemple, le cancer de la peau est diagnostiqué moins fréquemment chez les individus ayant des tons de peau plus foncés, ce qui conduit à des données limitées pour ces populations. Ce déséquilibre peut contribuer à des erreurs de diagnostic et à des résultats de soins de santé inégaux, particulièrement dans des domaines tels que l'histopathologie, les radiographies thoraciques et la dermatologie.

Les images synthétiques peuvent jouer un rôle pour faire un pas vers la réduction de cet écart dans les données. En générant des exemples supplémentaires et diversifiés, tels que des anomalies tissulaires variées, une large gamme de conditions pulmonaires et des tons de peau avec différents types de lésions, les données synthétiques peuvent aider à améliorer les performances du modèle auprès des groupes sous-représentés.

Les chercheurs travaillent actuellement au développement et à la validation de jeux de données synthétiques pour soutenir ces objectifs. Ils explorent également comment les données synthétiques peuvent être utilisées pour tester des outils médicaux et des stratégies de traitement sans dépendre des dossiers réels des patients, aidant ainsi à accélérer la recherche tout en protégeant la confidentialité des patients. Grâce à ces travaux, les données synthétiques ouvrent la voie à des systèmes d'IA médicale plus inclusifs, précis et éthiques.

Link to this sectionFaire progresser l'IA agricole avec des données synthétiques pour l'agriculture de précision#

La construction de systèmes d'IA de vision pour des applications agricoles dépend de l'accès à de grandes quantités de données étiquetées. Cependant, collecter et étiqueter des images de cultures, de maladies et de conditions de terrain est lent, coûteux et souvent limité par des facteurs comme la météo, les saisons de croissance ou la difficulté à atteindre certaines zones.

Ces défis rendent difficile l'entraînement des modèles de vision par ordinateur pour gérer des tâches comme la détection des maladies des plantes, la surveillance des cultures, ou la prédiction des rendements. C'est là que les données synthétiques peuvent aider - en mimant différents environnements agricoles pour générer des exemples d'entraînement utiles.

Fig 5. Utilisation d'images synthétiques pour une meilleure détection des maladies (source).

Link to this sectionPoints clés#

L'utilisation de données synthétiques représente une étape importante pour l'entraînement des modèles d'IA, surtout pour les systèmes de vision par ordinateur dans les domaines où les données du monde réel sont limitées ou difficiles à obtenir. Plutôt que de se fier uniquement à des photos ou vidéos réelles, qui peuvent être coûteuses, chronophages ou soulever des problèmes de confidentialité, les données synthétiques nous permettent de générer des images réalistes et étiquetées à la demande.

Cela facilite l'entraînement des modèles d'IA de vision pour des tâches comme la conduite autonome, la détection de maladies ou la surveillance des cultures. À mesure que l'IA continue d'évoluer, les données synthétiques sont destinées à jouer un rôle encore plus grand dans l'accélération de l'innovation et l'amélioration de l'accessibilité dans toutes les industries.

Apprends-en plus sur l'IA sur notre dépôt GitHub et rejoins notre communauté en pleine croissance. Découvre l'impact d'applications comme l'IA dans les véhicules autonomes et la vision par ordinateur en agriculture. Explore nos options de licence et donne vie à tes projets d'IA de vision.