Meta Movie Gen : réinventer la création de contenu

Que tu sois cinéaste en devenir ou créateur de contenu et que tu aimes réaliser des vidéos pour ton public, des outils d’IA qui stimulent ta créativité sont toujours utiles. Récemment, Meta a lancé son dernier modèle de génération vidéo, appelé Meta Movie Gen.

Le marché mondial de l’IA générative dans les médias et le divertissement devrait atteindre 11,57 milliards de dollars d’ici 2033, avec des entreprises comme Runway, OpenAI et Meta en tête. Meta Movie Gen est particulièrement adapté à des applications comme la réalisation de films, la création de contenu vidéo et la narration numérique. Il n’a jamais été aussi facile de donner vie à des visions créatives grâce à des vidéos de haute qualité générées par l’IA. Dans cet article, nous allons découvrir Meta Movie Gen et son fonctionnement. Nous examinerons aussi de plus près certaines de ses applications.

Fig. 1. Image d’un clip vidéo généré avec Meta Movie Gen.

Qu’est-ce que Meta Movie Gen ?#

Avant de voir ce qu’est Meta Movie Gen, revenons sur ses origines.

Les travaux de recherche de Meta sur l’IA générative ont commencé avec sa série Make-A-Scene de modèles. Cette recherche porte sur une méthode d’IA générative multimodale qui aide les artistes et les visionnaires à donner vie à leur imagination. Les artistes peuvent fournir des images, de l’audio, des vidéos ou des animations 3D pour obtenir l’image souhaitée. Le progrès suivant est venu avec les modèles de diffusion, comme les modèles Llama Image Foundation (Emu), qui ont permis de générer des images et des vidéos de bien meilleure qualité et de modifier des images.

Fig. 2. Exemple de génération d’image à partir d’un croquis et d’une saisie de texte dans Make-A-Scene.

Movie Gen est la dernière contribution de Meta à la recherche sur l’IA générative. Il combine toutes les modalités mentionnées précédemment et offre un contrôle plus précis pour permettre aux utilisateurs d’exploiter les modèles de manière plus créative. Meta Movie Gen est un ensemble de modèles de base pour générer différents types de médias, notamment du texte vers la vidéo, du texte vers l’audio et du texte vers l’image. Il se compose de quatre modèles, entraînés sur une combinaison de jeux de données sous licence et accessibles au public.

Voici un bref aperçu de ces modèles :

• Modèle Movie Gen Video : un modèle de 30 milliards de paramètres qui génère des vidéos de haute qualité à partir de consignes textuelles.
• Modèle Movie Gen Audio : un modèle de 13 milliards de paramètres qui crée des bandes-son synchronisées avec le contenu vidéo.
• Modèle Movie Gen Video personnalisé : il génère des vidéos mettant en scène des personnes précises à partir d’une consigne textuelle et d’une seule image, tout en préservant leur apparence.
• Modèle Movie Gen Edit : ce modèle permet d’effectuer des retouches vidéo détaillées à partir de texte, sur des vidéos réelles ou fictives.

Entraînement du modèle vidéo Meta Movie Gen#

Plusieurs étapes clés ont été nécessaires pour créer et entraîner le modèle Movie Gen Video. La première consistait à collecter et préparer des données visuelles, notamment des images et des séquences vidéo, principalement consacrées à des activités humaines et filtrées selon leur qualité, leur mouvement et leur pertinence. Les données ont ensuite été associées à des légendes textuelles décrivant chaque scène. Générées avec le modèle Llama 3-Video de Meta, ces légendes fournissaient des détails riches sur le contenu de chaque scène et amélioraient les capacités de narration visuelle du modèle.

Fig. 3. Présentation du pipeline de sélection des données de préentraînement du modèle Movie Gen Video.

L’entraînement a commencé par apprendre au modèle à transformer du texte en images basse résolution. Il s’est ensuite poursuivi par la création de séquences vidéo complètes grâce à une combinaison d’entraînement texte vers image et texte vers vidéo, avec des visuels de qualité toujours plus élevée.

Un outil appelé autoencodeur temporel (TAE) a compressé les vidéos afin de gérer efficacement de grands volumes de données. Le fine-tuning a encore amélioré la qualité vidéo, et une méthode appelée moyenne des modèles (qui consiste à moyenner plusieurs modèles affinés avec différentes données, hyperparamètres et valeurs de checkpoint) a assuré une plus grande cohérence des résultats. Enfin, la vidéo, initialement en 768p, a été agrandie en une résolution 1080p nette à l’aide d’une technique de suréchantillonnage spatial, qui augmente la résolution de l’image en ajoutant des données de pixels pour obtenir des visuels plus clairs. Le résultat : des vidéos détaillées de grande qualité.

Découverte des capacités de Meta Movie Gen#

Les modèles Meta Movie Gen prennent principalement en charge quatre capacités différentes. Examinons-les de plus près.

Génération de vidéos et d’audio#

Meta Movie Gen peut générer des vidéos de haute qualité. Ces séquences peuvent durer jusqu’à 16 secondes et être lues à 16 images par seconde, créant des visuels réalistes qui reproduisent les mouvements, les interactions et les angles de caméra décrits dans les prompts textuels. Associé au modèle audio de 13 milliards de paramètres, il peut produire une bande sonore synchronisée, avec des sons d’ambiance, des effets Foley et de la musique, assortie aux visuels.

Cette configuration assure la cohérence et le réalisme de l’image et du son dans différentes scènes et à partir de divers prompts. Par exemple, ces modèles ont servi à créer des séquences vidéo de l’hippopotame pygmée viral de Thaïlande, nommé Moo Deng.

Fig. 4. Image d’un clip vidéo de Moo Deng créé avec Movie Gen de Meta.

Génération de vidéos personnalisées#

Une autre capacité intéressante de Meta Movie Gen est la génération de vidéos personnalisées. Les utilisateurs peuvent fournir l’image d’une personne ainsi qu’un prompt textuel décrivant la vidéo à générer. La vidéo obtenue inclut cette personne de référence et intègre les détails visuels décrits dans le prompt. Le modèle utilise les deux entrées, l’image et le texte, pour préserver l’apparence unique et les mouvements naturels de la personne, tout en suivant précisément la scène décrite dans le prompt.

Fig. 5. Exemple de la capacité du modèle à générer des vidéos personnalisées.

Montage vidéo précis#

Avec le modèle Movie Gen Edit, les utilisateurs peuvent fournir une séquence vidéo et un prompt textuel pour la modifier de manière créative. Le modèle associe la génération vidéo à des techniques avancées de retouche d’image pour effectuer des modifications très précises, comme ajouter, supprimer ou remplacer des éléments. Il peut aussi apporter des changements globaux, par exemple modifier l’arrière-plan de la vidéo ou son style général. Sa précision le distingue : il peut cibler uniquement les pixels à modifier et laisser le reste intact. Le contenu d’origine est ainsi préservé autant que possible.

Fig. 6. Plusieurs exemples des capacités de montage vidéo du modèle Movie Gen Edit.

Outils d’évaluation comparative de Meta Movie Gen#

En plus de ses modèles d’IA générative, Meta a également présenté Movie Gen Bench, une suite d’outils d’évaluation des performances des modèles d’IA générative. Elle comprend deux outils principaux : Movie Gen Video Bench et Movie Gen Audio Bench. Tous deux sont conçus pour tester différents aspects de la génération vidéo et audio.

Voici un aperçu de ces deux outils :

• Movie Gen Video Bench : cet outil comprend 1 003 prompts couvrant un large éventail de catégories de test, comme les activités humaines, les animaux, les paysages naturels, la physique ainsi que des sujets et des activités inhabituels. La couverture des différents niveaux de mouvement rend ce benchmark particulièrement utile : elle garantit que le modèle de génération vidéo est évalué sur des séquences rapides comme sur des séquences plus lentes.
• Movie Gen Audio Bench : cet outil sert à évaluer les capacités de génération audio à partir de 527 consignes. Ces consignes sont associées à des vidéos générées afin de mesurer la capacité du modèle à synchroniser les effets sonores et la musique avec le contenu visuel.

Fig. 7 Le schéma présente la répartition des consignes d’évaluation, avec une liste de concepts à gauche et un nuage de mots regroupant les noms et les verbes les plus courants à droite.

Une application pratique de Meta Movie Gen#

Maintenant que nous avons présenté les modèles Meta Movie Gen et leur fonctionnement, découvrons l’une de leurs applications pratiques.

Les innovations de Movie Gen en IA pour la réalisation de films#

L’une des applications les plus enthousiasmantes de Movie Gen de Meta est sa capacité à transformer la réalisation de films grâce à la création de vidéos et de sons par l’IA. Avec Movie Gen, les créateurs peuvent générer des visuels et des sons de haute qualité à partir de simples prompts textuels, ce qui ouvre de nouvelles façons de raconter des histoires.

En fait, Meta s’est associé à Blumhouse et à un groupe de cinéastes pour recueillir leurs avis sur la meilleure façon dont Movie Gen peut soutenir le processus créatif. Des cinéastes comme Aneesh Chaganty, les Spurlock Sisters et Casey Affleck ont testé la capacité de l’outil à restituer une atmosphère, un ton et une direction visuelle. Ils ont constaté que les modèles contribuaient à faire naître de nouvelles idées.

Ce programme pilote a montré que Movie Gen ne remplace pas la réalisation traditionnelle, mais qu’il offre aux réalisateurs une nouvelle façon d’expérimenter rapidement et librement avec des éléments visuels et audio. Les cinéastes ont également apprécié les fonctions de montage de l’outil, qui leur permettent de jouer plus librement avec les sons d’ambiance, les effets et les styles visuels.

Fig. 8. Image d’un court métrage créé avec Meta Movie Gen.

Points clés à retenir#

Meta Movie Gen fait progresser l’utilisation de l’IA générative pour produire des vidéos et des sons de haute qualité à partir de simples descriptions textuelles. Cet outil permet de créer facilement des vidéos réalistes et personnalisées. Grâce à des fonctionnalités comme le montage vidéo précis et la génération de médias personnalisés, Meta Movie Gen offre un ensemble d’outils flexibles qui ouvre de nouvelles possibilités pour la narration, la réalisation de films et bien plus encore. En facilitant la création de visuels détaillés et utiles, Meta Movie Gen transforme la production et l’utilisation des vidéos dans différents secteurs.

Pour en savoir plus, consulte notre dépôt GitHub et échange avec notre communauté. Découvre les applications de l’IA dans les voitures autonomes et l’agriculture sur nos pages dédiées aux solutions.