Simplifier la création de modèles 3D avec NVIDIA Edify 3D

Ces dernières années, la technologie 3D est devenue un domaine passionnant et en forte croissance. Entre 2013 et 2020, les brevets liés aux technologies d’impression 3D ont augmenté à un taux annuel de 26,3 %. Cette croissance rapide montre à quel point le secteur de la 3D suscite l’innovation et l’intérêt.

Des jeux vidéo à l’architecture, en passant par la réalité virtuelle, les outils 3D transforment le fonctionnement des secteurs d’activité. Dans un précédent article de blog, nous avons abordé la détection d’objets en 3D, une technologie qui permet aux systèmes de reconnaître, de localiser et d’analyser des objets dans un espace tridimensionnel.

Aujourd’hui, nous allons nous intéresser à une autre avancée passionnante dans ce domaine : la modélisation 3D à partir de texte et la modélisation 3D à partir d’images. Les créateurs peuvent générer des modèles 3D détaillés simplement en les décrivant avec du texte ou une image, ce qui rend la conception 3D plus rapide et plus accessible que jamais.

NVIDIA Edify 3D en est un excellent exemple : il s’agit d’un modèle d’IA générative capable de transformer du texte ou des images en modèles 3D de grande qualité. En associant rapidité, précision et personnalisation, il transforme la manière dont les professionnels et les amateurs abordent la création de contenu 3D.

Dans cet article, nous verrons ce qu’est NVIDIA Edify 3D et comment il fonctionne. Nous examinerons aussi ses fonctionnalités, ses applications concrètes et son impact potentiel sur divers secteurs.

Découvrir NVIDIA Edify 3D#

La création manuelle de modèles 3D a traditionnellement été un processus complexe et chronophage. Les concepteurs s’appuient souvent sur des logiciels spécialisés qui exigent une expertise technique importante pour modéliser, texturer et peaufiner les ressources.

Les projets complexes peuvent demander d’innombrables heures et une grande attention aux détails, ce qui rend difficile le respect de délais serrés. De plus, l’approche manuelle nécessite souvent l’accès à du matériel coûteux et à des ressources importantes, ce qui la rend moins envisageable pour les petites équipes ou les créateurs indépendants.

NVIDIA Edify 3D simplifie ce processus en s’appuyant sur l’AI générative pour automatiser la majeure partie du travail. Au lieu de partir de zéro, les utilisateurs peuvent saisir une description textuelle ou fournir une image, et le modèle génère un modèle 3D détaillé en quelques minutes.

Fig. 1. Exemple de conversion de texte en modèle 3D avec NVIDIA Edify 3D.

Alors que NVIDIA Edify 3D se concentre sur la génération d’actifs ou de modèles 3D de grande qualité à partir de descriptions textuelles ou d’images, il fait en réalité partie d’une suite plus vaste de modèles Edify conçus pour utiliser l’IA générative dans diverses tâches créatives. Ces outils permettent notamment de créer des images 4K, des environnements HDR à 360 degrés, des matériaux à rendu basé sur la physique (PBR) et même du contenu vidéo.

Principales fonctionnalités de NVIDIA Edify 3D pour la création de modèles 3D#

L’une des principales fonctionnalités de NVIDIA Edify 3D est sa capacité à produire des maillages quadrilatères. Ces maillages sont des modèles 3D composés de polygones à quatre côtés. Ils sont très appréciés en modélisation 3D, car ils permettent de créer des formes plus lisses et plus naturelles. Ils sont également plus faciles à modifier que les maillages constitués de polygones triangulaires. Les maillages quadrilatères sont particulièrement utiles dans des secteurs comme le jeu vidéo et l’animation, où la précision et les retouches rapides sont essentielles.

Fig. 2. Edify 3D génère des éléments sous forme de maillages quadrilatères.

Autre caractéristique d’Edify 3D : son intégration à d’autres outils NVIDIA, comme Omniverse et NIM. Cela s’avère utile pour des applications telles que la réalité virtuelle (VR), la réalité augmentée (AR) et la visualisation de produits. En répondant aux difficultés courantes des flux de travail 3D traditionnels, comme les contraintes de temps et la complexité de la modélisation manuelle, les créateurs peuvent se concentrer sur leurs idées et leur créativité plutôt que sur des obstacles techniques.

Comment fonctionne NVIDIA Edify 3D ?#

Edify 3D transforme des descriptions textuelles ou des images de référence en modèles 3D détaillés grâce à des techniques d’IA avancées. Le processus commence par une entrée, comme une invite textuelle ou une image. Un modèle de diffusion multi-vues, qui crée des images en transformant progressivement du bruit aléatoire en contenu pertinent, génère plusieurs images RVB de l’objet sous différents angles. Ces images montrent l’objet depuis différentes perspectives afin d’en garantir la cohérence.

Parallèlement, un ControlNet multi-vues (un réseau neuronal conçu pour guider le processus de génération à l’aide d’informations structurelles) produit des normales de surface, qui représentent la forme et la structure de la surface de l’objet, y compris des détails comme les courbes et les arêtes. Combinées aux images RVB, ces normales de surface fournissent des informations visuelles et géométriques. Ces données sont transmises à un modèle de reconstruction basé sur un Transformer, un type de modèle d’IA qui traite des séquences d’informations pour prédire la forme 3D, les textures et les matériaux de l’objet.

Le résultat est affiné sous forme de maillage quadrilatère. Pour améliorer le résultat final, un ControlNet de suréchantillonnage multi-vues (un réseau neuronal capable d’améliorer la résolution et le niveau de détail des textures sous plusieurs angles) garantit que le modèle 3D est détaillé et soigné sur le plan visuel. Ce processus produit des éléments 3D de haute qualité, prêts à l’emploi et adaptés à un large éventail d’applications.

Fig. 3. Comprendre le fonctionnement de NVIDIA Edify 3D.

Applications concrètes de NVIDIA Edify 3D#

Maintenant que nous avons vu comment fonctionne NVIDIA Edify 3D et ce qu’il peut faire, examinons de plus près son impact potentiel dans différents secteurs.

Créer des éléments 3D pour le jeu vidéo et le divertissement#

Dans le jeu vidéo et le divertissement, les éléments 3D sont essentiels pour créer des expériences immersives. Avec Edify 3D, les développeurs de jeux et les animateurs peuvent générer rapidement des personnages, des environnements et des objets détaillés à partir de simples textes ou images. Cela accélère la production et permet aux équipes créatives de se concentrer sur l’amélioration des designs et de la narration au lieu de passer des heures à modéliser manuellement en 3D.

Fig. 4. Exemple de création d’un personnage. Image de l’auteur.

Améliorer les achats en ligne grâce aux visuels 3D des produits#

Grâce aux visuels 3D des produits, les achats en ligne deviennent plus interactifs. Edify 3D peut aider les détaillants à créer facilement des modèles 3D réalistes et orientables de leurs produits, afin que les clients comprennent mieux ce qu’ils achètent.

Les acheteurs peuvent profiter d’une meilleure expérience et retourner moins de produits s’ils comprennent mieux leur apparence sous tous les angles. Grâce aux modèles génératifs 3D, les entreprises de commerce électronique peuvent améliorer la satisfaction de leur clientèle et augmenter leurs taux de conversion.

Aider les architectes et les designers à créer de meilleurs visuels#

Pour les architectes et les designers, transformer des idées en visuels détaillés peut être un processus long et complexe. Des outils comme Edify 3D peuvent simplifier cette tâche en convertissant rapidement des croquis, des descriptions ou des concepts en modèles 3D précis, capables de visualiser les idées de conception et de faciliter leur communication. Qu’il s’agisse d’un bâtiment, d’un espace intérieur ou d’un meuble, la modélisation 3D accélère le processus de conception, réduit les erreurs et permet de concrétiser les projets plus rapidement.

Rendre l’éducation et la formation plus interactives grâce aux modèles 3D#

Dans un article précédent, nous avons expliqué comment la vision par ordinateur facilite l’apprentissage en alimentant la réalité augmentée (AR). Elle permet aux élèves de superposer des informations numériques au monde réel, ce qui facilite la visualisation et la compréhension d’idées complexes. De même, la modélisation 3D joue un rôle important dans la création de simulations détaillées et interactives.

Des outils comme Edify 3D permettent aux enseignants de concevoir et de personnaliser facilement des modèles pour des domaines comme la formation médicale, l’ingénierie ou l’histoire. Ces modèles 3D permettent aux élèves d’explorer les sujets et de s’y impliquer de manière plus immersive et pratique, ce qui rend l’apprentissage plus efficace et stimulant.

Fig. 5. Exemple de génération d’un modèle 3D à partir d’une image d’entrée.

Avantages et limites de NVIDIA Edify 3D#

NVIDIA Edify 3D offre plusieurs avantages qui en font un outil efficace pour la création de contenu 3D. En voici quelques-uns :

• Personnalisation : Les utilisateurs peuvent facilement ajuster et affiner les modèles générés pour répondre à des besoins précis ou concrétiser des idées créatives.
• Souplesse créative : La plateforme offre une grande souplesse dans la création de modèles et permet aux utilisateurs d’expérimenter rapidement différents designs et concepts.
• Itérations simplifiées : La possibilité de générer rapidement des modèles et de les modifier accélère le processus de conception itératif et permet d’effectuer plus vite les révisions et les mises à jour.

Edify 3D est une option intéressante pour les professionnels comme pour les débutants qui cherchent à accélérer leur processus de modélisation 3D, mais voici quelques limites à garder à l’esprit :

• Courbe d’apprentissage : bien que l’outil soit conçu pour être facile à utiliser, les personnes qui découvrent la modélisation 3D assistée par l’IA pourraient devoir s’adapter légèrement.
• Dépendance à la qualité des entrées : La qualité des modèles 3D générés dépend de la clarté et du niveau de détail du texte ou des images fournis. Plus l’entrée est bonne, meilleur est le résultat.
• Les modèles complexes peuvent nécessiter des retouches : Les modèles 3D plus complexes ou très détaillés peuvent nécessiter des modifications supplémentaires après leur génération pour respecter des normes de qualité spécifiques.

À retenir sur NVIDIA Edify 3D#

NVIDIA Edify 3D transforme la création de modèles 3D en rendant le processus plus rapide, plus simple et plus accessible. En s’appuyant sur une IA avancée pour prendre en charge des tâches habituellement longues et complexes, il aide les utilisateurs à générer des actifs 3D de grande qualité en fournissant moins d’efforts.

Qu’il soit utilisé dans le jeu vidéo, les achats en ligne, l’architecture ou l’éducation, Edify 3D simplifie les processus de travail et ouvre de nouvelles possibilités créatives. À mesure que davantage de secteurs adoptent la technologie 3D, des outils comme Edify 3D joueront un rôle important en facilitant la concrétisation des idées.

Continue à explorer l’IA en consultant notre dépôt GitHub et en rejoignant notre communauté active. Lis-en davantage sur les applications de l’IA dans l’agriculture et la santé.