Que sont les données synthétiques en vision par ordinateur ? Présentation

Les données ont toujours été un moteur dans des domaines comme l’analytique et l’intelligence artificielle (IA). En fait, la façon dont nous collectons, générons et utilisons les données façonne l’avenir des systèmes intelligents. Par exemple, les voitures autonomes s’appuient sur des millions d’images annotées et de relevés de capteurs, des panneaux de signalisation aux déplacements des piétons, pour apprendre à circuler en toute sécurité.

L’un des types de données les plus essentiels à ces progrès, notamment dans des domaines comme les véhicules autonomes et la sécurité, est constitué des données visuelles, comme les images et les vidéos.

Plus précisément, le domaine de l’IA qui permet aux machines d’interpréter ces informations visuelles s’appelle la vision par ordinateur. Il aide les systèmes à comprendre et à analyser les entrées visuelles comme le ferait un humain, pour des tâches telles que la reconnaissance faciale, la détection des panneaux de signalisation et l’analyse d’images médicales.

Toutefois, collecter à grande échelle des jeux de données visuelles de haute qualité dans le monde réel peut prendre beaucoup de temps, coûter cher et soulever des questions de confidentialité. C’est pourquoi les chercheurs étudient activement la possibilité d’utiliser des données synthétiques.

Les données synthétiques désignent des visuels générés artificiellement qui imitent de près les images et vidéos du monde réel. Elles sont créées à l’aide de techniques comme la modélisation 3D, les simulations informatiques et les méthodes d’IA générative, telles que les réseaux antagonistes génératifs (GANs), qui apprennent à partir de données réelles pour produire de nouveaux exemples réalistes.

Les données synthétiques devraient bientôt jouer un rôle essentiel dans le développement de l’IA : Gartner prévoit qu’en 2030, elles seront plus importantes que les données du monde réel. Dans cet article, nous verrons ce que sont les données synthétiques dans le contexte de la vision par ordinateur, comment elles sont générées et quelles sont leurs applications concrètes.

Que sont les données synthétiques en vision par ordinateur ?#

Imagine que tu veuilles entraîner un modèle d’IA visuelle à détecter des objets dans des environnements et des conditions variés. Se fier uniquement aux données du monde réel peut s’avérer difficile et parfois limitant.

Les données synthétiques permettent quant à elles de créer le jeu de données adapté, avec des objets placés dans diverses conditions générées artificiellement. Grâce à des outils comme la modélisation 3D et les simulations, les développeurs peuvent générer des images en contrôlant précisément des facteurs comme l’éclairage, les angles et le placement des objets. Cela offre davantage de flexibilité pour l’entraînement des modèles que les données du monde réel.

Les données synthétiques sont particulièrement utiles lorsqu’il est difficile, voire impossible, de collecter des données du monde réel. Par exemple, entraîner un modèle à reconnaître des personnes dans un large éventail de poses, comme en train de courir, de s’accroupir ou de s’allonger, nécessiterait de prendre des milliers de photos dans de nombreux lieux, sous différents angles et dans diverses conditions d’éclairage.

Avec les données synthétiques, les développeurs peuvent facilement générer ces variantes avec des annotations précises, ce qui leur fait gagner du temps et des efforts tout en améliorant les performances du modèle.

Fig. 1. Jeu de données synthétiques présentant différentes poses humaines et variations d’éclairage (source).

Données synthétiques et données réelles en IA#

Examinons maintenant de plus près les différences entre les données synthétiques et les données réelles. Les deux présentent des avantages et des inconvénients pour l’entraînement des modèles d’IA.

Par exemple, les données synthétiques sont utiles lorsque les données réelles sont difficiles à collecter, mais elles ne reproduisent pas forcément tous les détails du monde réel. À l’inverse, les données réelles sont plus authentiques, mais elles peuvent être difficiles à obtenir, longues à annoter et ne couvrent pas nécessairement toutes les situations.

En combinant données synthétiques et données réelles, les développeurs peuvent tirer le meilleur parti des deux. Cet équilibre aide les modèles d’IA à apprendre plus précisément, à mieux généraliser à différents scénarios et à réduire les biais.

Fig. 2. Données synthétiques et données réelles en IA. Image de l’auteur.

Aperçu de la génération de données pour les modèles de vision par ordinateur#

De la création de mondes virtuels avec des outils 3D à la génération d’images par l’IA générative, voici quelques méthodes courantes pour créer des données d’entraînement synthétiques destinées aux modèles de vision par ordinateur :

• Modélisation 3D : les développeurs utilisent des logiciels 3D pour créer des objets et des scènes numériques. Cette méthode permet de contrôler entièrement l’éclairage, les angles de caméra et le placement des objets, et sert à générer des images réalistes de personnes, de véhicules et d’environnements.
• Simulations : elles recréent des situations du monde réel, comme la circulation ou les environnements d’usine, à l’aide de moteurs fondés sur la physique. Les simulations permettent de générer en toute sécurité des données d’entraînement dans des domaines comme la robotique et les voitures autonomes.
• Réseaux antagonistes génératifs : les GANs sont un type de modèle d’apprentissage profond composé de deux réseaux : l’un crée des images et l’autre les évalue. Ensemble, ils génèrent des images très réalistes, comme des visages humains ou des scènes de rue, en apprenant à partir d’exemples réels.
• Génération procédurale : cette technique utilise des règles prédéfinies ou des modèles mathématiques pour générer automatiquement des structures visuelles complexes, comme des terrains, des bâtiments ou des textures. Elle est souvent employée dans les plateformes de jeux vidéo et de simulation et peut produire des jeux de données volumineux et variés avec une intervention humaine minimale.
• Randomisation de domaine : cette technique peut modifier aléatoirement l’éclairage, les couleurs et la forme des objets dans des scènes synthétiques. Elle vise à aider les modèles à se concentrer sur l’essentiel, afin qu’ils s’adaptent mieux aux environnements réels.

Fig. 3. Exemples de données : (a) images issues de modèles 3D, (b) scènes synthétiques avec plusieurs objets et (c) images de jeux de données réels (source).

Entraînement de modèles d’IA visuelle avec des données synthétiques#

Maintenant que nous avons abordé différentes méthodes de création de données synthétiques, voyons comment celles-ci sont utilisées pour entraîner des modèles d’IA.

Une fois générées, les données synthétiques peuvent généralement être intégrées directement au pipeline d’entraînement, comme les données du monde réel. Elles comprennent habituellement les annotations nécessaires, comme les étiquettes d’objets, les boîtes englobantes ou les masques de segmentation. Elles peuvent donc servir aux tâches d’apprentissage supervisé, où les modèles apprennent à partir de paires entrée-sortie annotées, sans nécessiter d’annotation manuelle.

Pendant l’entraînement, le modèle traite les images synthétiques pour apprendre à détecter des caractéristiques, à reconnaître des motifs et à classer des objets. Ces données peuvent servir à créer un premier modèle à partir de zéro ou à enrichir un jeu de données existant, afin d’améliorer les performances du modèle.

Dans de nombreux flux de travail, les données synthétiques servent également au préentraînement, qui donne aux modèles une compréhension générale de base avant leur ajustement fin à l’aide d’exemples du monde réel. Elles permettent aussi d’augmenter les jeux de données en introduisant des variations contrôlées, comme différentes conditions d’éclairage, différents angles ou des classes d’objets rares, afin d’améliorer la généralisation et de réduire le surapprentissage.

En combinant données synthétiques et données réelles, les équipes peuvent entraîner des modèles plus robustes, performants dans un large éventail de conditions, tout en réduisant leur dépendance à la collecte manuelle de données, coûteuse et chronophage.

Applications concrètes des données synthétiques en vision par ordinateur#

Les données synthétiques devenant plus pratiques et accessibles, on les voit désormais adoptées dans divers cas d’usage réels de l’IA visuelle. Explorons certaines des applications de la vision par ordinateur les plus importantes qui y font appel.

Utiliser des données synthétiques pour la détection d’objets dans les véhicules autonomes#

Apprendre aux voitures autonomes à circuler en toute sécurité nécessite d’entraîner des modèles sur un large éventail de scénarios, y compris des situations rares ou dangereuses. Toutefois, collecter des données réelles pour ces cas limites peut être difficile et parfois risqué. Les données synthétiques permettent de créer des scènes où les modèles peuvent apprendre à détecter des objets dans des situations complexes. Elles peuvent aussi reproduire différentes configurations de capteurs, ce qui est utile, puisque les voitures autonomes n’utilisent pas toutes le même matériel.

La plateforme DRIVE Sim de NVIDIA en est un excellent exemple. Elle crée des données synthétiques de haute qualité à l’aide de modèles 3D photoréalistes, d’environnements virtuels et de simulations de capteurs. Elle peut aussi générer plusieurs angles de vue de conduite à partir d’une seule image. L’utilisation de telles données synthétiques permet de réduire le besoin de tests coûteux dans le monde réel, tout en fournissant au modèle la variété nécessaire à un apprentissage efficace.

Fig. 4. Générer plusieurs vues de conduite à partir d’une seule image (source).

Réduire les biais de l’IA en imagerie médicale grâce aux données synthétiques#

Les modèles de vision par ordinateur comme Ultralytics YOLO11, qui prennent en charge des tâches telles que la détection d’objets et la segmentation d’instances, peuvent être entraînés sur mesure pour des applications d’imagerie médicale. Cependant, les données d’entraînement du monde réel comportent souvent des biais, car elles ne représentent pas toujours suffisamment les patients de tous les groupes démographiques.

Par exemple, le cancer de la peau est moins souvent diagnostiqué chez les personnes à la peau foncée, ce qui limite les données disponibles pour ces populations. Ce déséquilibre peut entraîner des erreurs de diagnostic et des inégalités en matière de soins, notamment dans des domaines comme l’histopathologie, les radiographies thoraciques et la dermatologie.

Les images synthétiques peuvent contribuer à combler ce manque de données. En générant des exemples supplémentaires et variés, comme différentes anomalies tissulaires, un large éventail d’affections pulmonaires et des carnations associées à divers types de lésions, les données synthétiques peuvent améliorer les performances des modèles pour les groupes sous-représentés.

Des chercheurs travaillent actuellement à développer et à valider des jeux de données synthétiques pour atteindre ces objectifs. Ils étudient également comment utiliser les données synthétiques pour tester des outils médicaux et des stratégies de traitement sans s’appuyer sur de véritables dossiers de patients, afin d’accélérer la recherche tout en protégeant la confidentialité des patients. Ces travaux ouvrent la voie à des systèmes d’IA médicale plus inclusifs, précis et éthiques.

Faire progresser l’IA agricole grâce aux données synthétiques pour l’agriculture de précision#

La création de systèmes d’IA visuelle pour l’agriculture repose sur l’accès à de grandes quantités de données annotées. Pourtant, collecter et annoter des images de cultures, de maladies et de conditions de terrain est lent et coûteux, et reste souvent limité par des facteurs comme la météo, les saisons de culture ou la difficulté d’accès à certaines zones.

Ces difficultés compliquent l’entraînement de modèles de vision par ordinateur pour des tâches comme la détection des maladies des plantes, la surveillance des cultures ou la prévision des rendements. Les données synthétiques peuvent alors aider en reproduisant différents environnements agricoles pour générer des exemples d’entraînement utiles.

Fig. 5. Utiliser des images synthétiques pour améliorer la détection des maladies (source).

Points clés à retenir#

L’utilisation de données synthétiques représente une avancée importante pour l’entraînement des modèles d’IA, en particulier des systèmes de vision par ordinateur dans les domaines où les données du monde réel sont limitées ou difficiles à obtenir. Plutôt que de s’appuyer uniquement sur des photos ou des vidéos réelles, qui peuvent être coûteuses, chronophages ou soulever des questions de confidentialité, les données synthétiques permettent de générer à la demande des images réalistes et annotées.

Elles facilitent l’entraînement de modèles d’IA visuelle pour des tâches comme la conduite autonome, la détection de maladies ou la surveillance des cultures. À mesure que l’IA évolue, les données synthétiques joueront un rôle encore plus important pour accélérer l’innovation et améliorer l’accessibilité dans tous les secteurs.

Pour en savoir plus sur l’IA, consulte notre dépôt GitHub et rejoins notre communauté en pleine croissance. Découvre l’impact d’applications comme l’IA dans les véhicules autonomes et la vision par ordinateur en agriculture. Explore nos options de licence et donne vie à tes projets d’IA visuelle.