Meta Movie Gen : réinventer la création de contenus

Que tu sois cinéaste en devenir ou créateur de contenu et que tu aimes réaliser des vidéos pour ton audience, disposer d’outils d’IA qui stimulent ta créativité est toujours utile. Récemment, Meta a lancé son dernier modèle de génération vidéo, connu sous le nom de Meta Movie Gen.

Le marché mondial de l’IA générative dans les secteurs des médias et du divertissement devrait atteindre 11,57 milliards de dollars d’ici 2033, avec des entreprises comme Runway, OpenAI et Meta à la pointe d’innovations révolutionnaires. Meta Movie Gen est notamment très utile pour des applications comme la réalisation de films, la création de contenu vidéo et la narration numérique, ce qui facilite plus que jamais la concrétisation de visions créatives grâce à des vidéos générées par IA de haute qualité. Dans cet article, nous allons découvrir Meta Movie Gen et son fonctionnement. Nous examinerons également de plus près certaines de ses applications. Commençons !

Fig. 1. Une image d’un clip vidéo généré avec Meta Movie Gen.

Qu’est-ce que Meta Movie Gen ?#

Avant d’expliquer ce qu’est Meta Movie Gen, voyons comment il a été créé.

Les travaux de recherche de Meta dans le domaine de l’IA générative ont commencé avec sa série de modèles Make-A-Scene. Ces recherches portent sur une méthode d’IA générative multimodale qui aide les artistes et les créateurs à donner vie à leur imagination. Les artistes peuvent fournir des images, de l’audio, des vidéos ou des animations 3D pour obtenir l’image souhaitée. L’étape suivante de l’innovation est arrivée avec les modèles de diffusion, comme les modèles Llama Image Foundation (Emu), qui ont permis de générer des images et des vidéos de bien meilleure qualité et d’effectuer des retouches d’image.

Fig. 2. Exemple d’utilisation de l’esquisse et de la saisie de texte de Make-A-Scene pour obtenir une image générée.

Movie Gen est la dernière contribution de Meta à la recherche en IA générative. Il combine toutes les modalités mentionnées précédemment et offre un contrôle plus précis, afin que chacun puisse utiliser les modèles de manière plus créative. Meta Movie Gen est un ensemble de modèles fondamentaux permettant de générer différents types de médias, notamment du texte vers la vidéo, du texte vers l’audio et du texte vers l’image. Il se compose de quatre modèles, entraînés sur une combinaison de jeux de données sous licence et accessibles au public.

Voici un aperçu rapide de ces modèles :

• Modèle Movie Gen Video : Un modèle de 30 milliards de paramètres qui génère des vidéos de haute qualité à partir d’invites textuelles.
• Modèle Movie Gen Audio : Un modèle de 13 milliards de paramètres capable de créer des bandes sonores synchronisées avec le contenu vidéo.
• Modèle Personalized Movie Gen Video : Il génère des vidéos de personnes données à partir d’une invite textuelle et d’une seule image, tout en conservant leur ressemblance.
• Modèle Movie Gen Edit : Ce modèle permet d’effectuer des retouches vidéo détaillées à partir de texte, sur des vidéos réelles ou fictives.

Entraînement du modèle vidéo Meta Movie Gen#

Plusieurs processus clés ont été nécessaires pour créer et entraîner le modèle Movie Gen Video. La première étape a consisté à collecter et à préparer des données visuelles, notamment des images et des clips vidéo, principalement consacrés à des activités humaines filtrées selon leur qualité, leur mouvement et leur pertinence. Les données ont ensuite été associées à des légendes textuelles décrivant ce qui se passait dans chaque scène. Générées à l’aide du modèle LLaMa3-Video de Meta, ces légendes fournissaient des informations détaillées sur le contenu de chaque scène, renforçant les capacités de narration visuelle du modèle.

Fig. 3. Vue d’ensemble du pipeline de curation des données de pré-entraînement du modèle Movie Gen Video.

Le processus d’entraînement a commencé par l’apprentissage de la transformation de texte en images basse résolution. Il s’est ensuite poursuivi par la création de clips vidéo complets grâce à une combinaison d’entraînements texte vers image et texte vers vidéo, en utilisant des visuels de qualité progressivement supérieure.

Un outil appelé autoencodeur temporel (TAE) a compressé les vidéos afin de gérer efficacement de grands volumes de données. L’ajustement fin a encore amélioré la qualité vidéo, et une méthode appelée moyenne des modèles (qui combine plusieurs sorties de modèles pour obtenir des résultats plus fluides et cohérents) a garanti une meilleure uniformité des sorties. Enfin, la vidéo, initialement en 768p, a été mise à l’échelle vers une résolution nette de 1080p à l’aide d’une technique de suréchantillonnage spatial, qui augmente la résolution de l’image en ajoutant des données de pixels pour obtenir des visuels plus clairs. Le résultat était constitué de vidéos détaillées et de haute qualité.

Exploration des capacités de Meta Movie Gen#

Les modèles Meta Movie Gen prennent principalement en charge quatre capacités différentes. Examinons chacune d’elles de plus près.

Génération de vidéos et d’audio#

Meta Movie Gen peut générer des vidéos de haute qualité. Ces clips vidéo peuvent durer jusqu’à 16 secondes et être lus à 16 fps (images par seconde), créant des visuels réalistes qui reproduisent les mouvements, les interactions et les angles de caméra à partir d’invites textuelles. Associé au modèle audio de 13 milliards de paramètres, il peut produire un audio synchronisé, comprenant des sons ambiants, des effets Foley et de la musique, adapté aux visuels.

Cette configuration garantit une expérience fluide et réaliste, où les éléments visuels et audio restent alignés et crédibles dans diverses scènes et avec différentes invites. Par exemple, ces modèles ont été utilisés pour créer des clips vidéo de l’hippopotame nain de Thaïlande devenu viral, nommé Moo Deng.

Fig. 4. Une image d’un clip vidéo de Moo Deng réalisé avec Movie Gen de Meta.

Génération de vidéos personnalisées#

Une autre capacité intéressante du modèle Meta Movie Gen est la génération de vidéos personnalisées. Les utilisateurs peuvent fournir l’image d’une personne et une invite textuelle décrivant la manière dont le clip vidéo doit être généré. Ils obtiennent ainsi une vidéo qui inclut la personne de référence et intègre les riches détails visuels indiqués dans l’invite textuelle. Le modèle utilise les deux entrées (image et texte) pour préserver l’apparence unique et les mouvements naturels du corps de la personne, tout en suivant fidèlement la scène décrite dans l’invite.

Fig. 5. Exemple de la capacité de génération de vidéos personnalisées du modèle.

Montage vidéo précis#

Avec le modèle Movie Gen Edit, les utilisateurs peuvent fournir à la fois un clip vidéo et une invite textuelle pour modifier la vidéo de manière créative. Le modèle combine la génération vidéo et la retouche d’image avancée afin d’effectuer des modifications très précises, comme l’ajout, la suppression ou le remplacement d’éléments. Il peut également effectuer des changements globaux, comme modifier l’arrière-plan du clip vidéo ou son style général. Mais ce qui rend vraiment le modèle unique, c’est sa précision : il peut cibler uniquement les pixels nécessitant une modification et laisser le reste intact. Le contenu original est ainsi préservé autant que possible.

Fig. 6. Différents exemples des capacités de montage vidéo du modèle Movie Gen Edit.

Outils d’évaluation comparative de Meta Movie Gen#

En plus des modèles d’IA générative, Meta a également présenté Movie Gen Bench, une suite d’outils d’évaluation comparative destinés à tester les performances des modèles d’IA générative. Elle comprend deux outils principaux : Movie Gen Video Bench et Movie Gen Audio Bench. Tous deux sont conçus pour tester différents aspects de la génération vidéo et audio.

Voici un aperçu des deux outils :

• Movie Gen Video Bench : Il comprend 1003 invites couvrant une grande variété de catégories de test, comme les activités humaines, les animaux, les paysages naturels, la physique, ainsi que des sujets et activités inhabituels. Cet outil d’évaluation comparative est particulièrement utile, car il couvre différents niveaux de mouvement et garantit ainsi que le modèle de génération vidéo est testé sur des séquences rapides comme sur des séquences plus lentes.
• Movie Gen Audio Bench : Il est conçu pour tester les capacités de génération audio à travers 527 invites. Ces invites sont associées à des vidéos générées afin d’évaluer la capacité du modèle à synchroniser les effets sonores et la musique avec le contenu visuel.

Fig. 7. Le diagramme présente une répartition des invites d’évaluation, avec une liste de concepts à gauche et un nuage des noms et verbes couramment utilisés à droite.

Une application pratique de Meta Movie Gen#

Maintenant que nous avons présenté les modèles Meta Movie Gen et leur fonctionnement, explorons l’une de leurs applications pratiques.

Les innovations de Movie Gen en IA pour la réalisation de films#

L’une des utilisations les plus passionnantes de Movie Gen de Meta est sa capacité à transformer la réalisation de films grâce à la [création vidéo et audio](https://ultralytics-translation-1.invalid propulsée par l’IA). Avec Movie Gen, les créateurs peuvent générer des visuels et des sons de haute qualité à partir de simples invites textuelles, ouvrant ainsi de nouvelles possibilités pour raconter des histoires.

En fait, Meta s’est associée à Blumhouse et à un groupe de cinéastes pour recueillir leurs commentaires sur la meilleure façon dont Movie Gen peut soutenir le processus créatif. Des cinéastes comme Aneesh Chaganty, les sœurs Spurlock et Casey Affleck ont testé la capacité de l’outil à restituer l’ambiance, le ton et la direction visuelle. Ils ont découvert que les modèles contribuaient à faire émerger de nouvelles idées.

Ce programme pilote a montré que, même si Movie Gen ne remplace pas la réalisation de films traditionnelle, il offre aux réalisateurs une nouvelle manière d’expérimenter rapidement et de façon créative avec les éléments visuels et audio. Les cinéastes ont également apprécié que les fonctions de montage de l’outil leur permettent de jouer plus librement avec les sons d’arrière-plan, les effets et les styles visuels.

Fig. 8. Une image d’un court-métrage créé avec Meta Movie Gen.

Points clés à retenir#

Meta Movie Gen constitue une avancée dans l’utilisation de l’IA générative pour créer des vidéos et des sons de haute qualité à partir de simples descriptions textuelles. Cet outil aide les utilisateurs à créer facilement des vidéos réalistes et personnalisées. Grâce à des capacités comme le montage vidéo précis et la génération de médias personnalisés, Meta Movie Gen offre un ensemble d’outils flexible qui ouvre de nouvelles possibilités pour la narration, la réalisation de films et bien plus encore. En facilitant la création de visuels détaillés et utiles, Meta Movie Gen transforme la manière dont les vidéos sont produites et utilisées dans différents domaines, tout en établissant une nouvelle référence pour la création de contenu pilotée par l’IA.

Pour en savoir plus, consulte notre dépôt GitHub et participe à notre communauté. Découvre les applications de l’IA dans les voitures autonomes et l’agriculture sur nos pages de solutions. 🚀