Meta Movie Gen : Réimaginer la création de contenu

Que tu sois un cinéaste en herbe ou un créateur de contenu qui aime faire des vidéos pour son public, avoir des outils d'IA qui élargissent ta créativité est toujours utile. Récemment, Meta a lancé son dernier modèle de vidéo générative, connu sous le nom de Meta Movie Gen.

Le marché mondial de l'IA générative dans les médias et le divertissement devrait atteindre 11,57 milliards de dollars d'ici 2033, avec des entreprises comme Runway, OpenAI et Meta en tête des innovations révolutionnaires. Meta Movie Gen, en particulier, est idéal pour des applications telles que la réalisation de films, la création de contenu vidéo et la narration numérique, ce qui rend plus facile que jamais la concrétisation de visions créatives grâce à des vidéos générées par IA de haute qualité. Dans cet article, nous allons explorer Meta Movie Gen et son fonctionnement. Nous examinerons également de plus près certaines de ses applications. C'est parti !

Fig 1. Une image d'un clip vidéo généré à l'aide de Meta Movie Gen.

Qu'est-ce que Meta Movie Gen ?#

Avant de discuter de ce qu'est Meta Movie Gen, jetons un œil à ses origines.

Les efforts de recherche de Meta liés à l'IA générative ont commencé avec leur série de modèles Make-A-Scene. Cette recherche se concentre sur une méthode d'IA générative multimodale qui aide les artistes et les visionnaires à donner vie à leur imagination. Les artistes peuvent fournir des images, des audio, des vidéos ou des animations 3D pour obtenir le rendu d'image souhaité. Le saut d'innovation suivant est venu avec les modèles de diffusion comme les modèles Llama Image Foundation (Emu), qui ont permis de générer des images et des vidéos de bien meilleure qualité et ont rendu possible l'édition d'images.

Fig 2. Un exemple d'utilisation du croquis et de la saisie de texte de Make-A-Scene pour obtenir une image générée.

Movie Gen est la dernière contribution de Meta à la recherche sur l'IA générative. Il combine toutes les modalités mentionnées précédemment et permet un contrôle plus fin afin que chacun puisse utiliser les modèles de manière plus créative. Meta Movie Gen est une collection de modèles de base pour générer différents types de médias, notamment texte-vers-vidéo, texte-vers-audio et texte-vers-image. Il se compose de quatre modèles, entraînés sur une combinaison de jeux de données sous licence et accessibles au public.

Voici un rapide aperçu de ces modèles :

• Modèle Movie Gen Video : Un modèle de 30 milliards de paramètres qui génère des vidéos de haute qualité à partir de invites textuelles.
• Modèle Movie Gen Audio : Un modèle de 13 milliards de paramètres capable de créer des bandes sonores synchronisées avec le contenu vidéo.
• Modèle Personalized Movie Gen Video : Il génère des vidéos de personnes spécifiques à partir d'une invite textuelle et d'une seule image, en conservant leur ressemblance.
• Modèle Movie Gen Edit : Ce modèle permet des modifications vidéo détaillées basées sur du texte pour des vidéos réelles et fictives.

Entraînement du modèle vidéo Meta Movie Gen#

Plusieurs processus clés ont été impliqués dans la création et l'entraînement du modèle Movie Gen Video. La première étape a consisté à collecter et préparer des données visuelles, notamment des images et des clips vidéo, principalement d'activités humaines filtrées pour leur qualité, leur mouvement et leur pertinence. Les données ont ensuite été associées à des légendes textuelles expliquant ce qui se passait dans chaque scène. Les légendes, générées à l'aide du modèle Meta LLaMa3-Video, ont fourni des détails riches sur le contenu de chaque scène, renforçant les capacités de narration visuelle du modèle.

Fig 3. Un aperçu du pipeline de curation des données de pré-entraînement du modèle Movie Gen Video.

Le processus d'entraînement a commencé par l'apprentissage du modèle pour transformer du texte en images basse résolution. Il a ensuite progressé vers la création de clips vidéo complets grâce à une combinaison d'entraînement texte-vers-image et texte-vers-vidéo, en utilisant des visuels de qualité de plus en plus élevée.

Un outil appelé Temporal Autoencoder (TAE) a compressé les vidéos pour gérer efficacement de grands volumes de données. L'affinage a encore amélioré la qualité vidéo, et une méthode appelée moyennage de modèles (qui combine plusieurs sorties de modèles pour des résultats plus fluides et cohérents) a assuré une plus grande cohérence des sorties. Enfin, la vidéo, initialement en 768p, a été mise à l'échelle à une résolution nette de 1080p en utilisant une technique d'échantillonnage spatial, qui augmente la résolution de l'image en ajoutant des données de pixels pour des visuels plus clairs. Le résultat a été des sorties vidéo détaillées et de haute qualité.

Explorer les capacités de Meta Movie Gen#

Les modèles Meta Movie Gen prennent principalement en charge quatre capacités différentes. Examinons chacune d'entre elles plus en détail.

Génération vidéo et audio#

Meta Movie Gen peut générer des vidéos de haute qualité. Ces clips vidéo peuvent durer jusqu'à 16 secondes et tourner à 16 fps (images par seconde), créant des visuels réalistes qui capturent le mouvement, les interactions et les angles de caméra à partir de invites textuelles. Associé au modèle audio de 13 milliards de paramètres, il peut produire un son synchronisé, comprenant des sons ambiants, des effets Foley et de la musique, pour correspondre aux visuels.

Cette configuration garantit une expérience fluide et réaliste, où les visuels et l'audio restent alignés et réalistes à travers diverses scènes et invites. Par exemple, ces modèles ont été utilisés pour créer des clips vidéo de l'hippopotame pygmée viral de Thaïlande, nommé Moo Deng.

Fig 4. Une image d'un clip vidéo de Moo Deng réalisé avec Meta Movie Gen.

Génération vidéo personnalisée#

Une autre capacité intéressante du modèle Meta Movie Gen est la génération de vidéos personnalisées. Tu peux fournir l'image d'une personne et une invite textuelle décrivant comment le clip vidéo doit être généré, ce qui donne une vidéo qui inclut la personne de référence et intègre les riches détails visuels spécifiés dans l'invite textuelle. Le modèle utilise les deux entrées (image et texte) pour conserver l'apparence unique de la personne et ses mouvements corporels naturels, tout en suivant avec précision la scène décrite dans l'invite.

Fig 5. Un exemple de la capacité de génération de vidéo personnalisée du modèle.

Édition vidéo précise#

En utilisant le modèle Movie Gen Edit, les utilisateurs peuvent fournir à la fois un clip vidéo et une invite textuelle en entrée pour modifier la vidéo de manière créative. Le modèle combine la génération vidéo avec l'édition d'image avancée pour effectuer des modifications très spécifiques, telles que l'ajout, la suppression ou le remplacement d'éléments. Il peut également effectuer des changements globaux comme la modification de l'arrière-plan du clip vidéo ou du style global. Mais ce qui rend le modèle vraiment unique est sa précision : il peut cibler uniquement les pixels spécifiques qui nécessitent une édition et laisser le reste intact. Cela préserve le contenu original autant que possible.

Fig 6. Divers exemples des capacités d'édition vidéo du modèle Movie Gen Edit.

Outils de benchmarking de Meta Movie Gen#

Parallèlement aux modèles d'IA générative, Meta a également introduit Movie Gen Bench, une suite d'outils d'évaluation pour tester les performances des modèles d'IA générative. Elle comprend deux outils principaux : Movie Gen Video Bench et Movie Gen Audio Bench. Tous deux sont conçus pour tester différents aspects de la génération vidéo et audio.

Voici un aperçu des deux outils :

• Movie Gen Video Bench : Il se compose de 1003 invites couvrant une grande variété de catégories de test telles que les activités humaines, les animaux, les paysages naturels, la physique, ainsi que des sujets et des activités inhabituels. Ce qui rend ce banc d'essai d'évaluation particulièrement précieux, c'est sa couverture des niveaux de mouvement, ce qui garantit que le modèle de génération de vidéo est testé pour les séquences rapides et plus lentes.
• Movie Gen Audio Bench : Il est conçu pour tester les capacités de génération audio sur 527 invites. Ces invites sont associées à des vidéos générées pour évaluer la capacité du modèle à synchroniser les effets sonores et la musique avec le contenu visuel.

Fig 7. Le diagramme montre une répartition des invites d'évaluation, avec une liste de concepts à gauche et un nuage de mots de noms et de verbes couramment utilisés à droite.

Une application pratique de Meta Movie Gen#

Maintenant que nous avons couvert ce que sont les modèles Meta Movie Gen et comment ils fonctionnent, explorons l'une de leurs applications pratiques.

Innovations de l'IA Movie Gen dans la réalisation de films#

L'une des utilisations les plus passionnantes de Movie Gen de Meta est sa capacité à transformer la réalisation de films grâce à la création vidéo et audio alimentée par l'IA. Avec Movie Gen, les créateurs peuvent générer des visuels et des sons de haute qualité à partir de simples invites textuelles, ouvrant de nouvelles voies pour raconter des histoires.

En fait, Meta s'est associé à Blumhouse et à un groupe de cinéastes, recueillant leurs commentaires sur la façon dont Movie Gen peut le mieux soutenir le processus créatif. Des cinéastes comme Aneesh Chaganty, les sœurs Spurlock et Casey Affleck ont testé la capacité de l'outil à capturer l'humeur, le ton et la direction visuelle. Ils ont découvert que les modèles aidaient à faire naître de nouvelles idées.

Ce programme pilote a montré que, bien que Movie Gen ne remplace pas la réalisation de films traditionnelle, il offre aux réalisateurs un nouveau moyen d'expérimenter avec des éléments visuels et audio de manière rapide et créative. Les cinéastes ont également apprécié la façon dont les fonctionnalités d'édition de l'outil leur permettaient de jouer avec les sons d'arrière-plan, les effets et les styles visuels plus librement.

Fig 8. Une image d'un court métrage créé à l'aide de Meta Movie Gen.

Points clés#

Meta Movie Gen est un pas en avant dans l'utilisation de l'IA générative pour créer des vidéos et des sons de haute qualité à partir de simples descriptions textuelles. L'outil aide les utilisateurs à créer facilement des vidéos réalistes et personnalisées. Avec des capacités telles que l'édition vidéo précise et la génération de médias personnalisés, Meta Movie Gen offre un ensemble d'outils flexibles qui ouvre de nouvelles possibilités pour la narration, la réalisation de films et au-delà. En facilitant la création de visuels détaillés et utiles, Meta Movie Gen transforme la façon dont les vidéos sont réalisées et utilisées dans différents domaines et établit une nouvelle norme pour la création de contenu pilotée par l'IA.

Pour en savoir plus, visite notre dépôt GitHub et échange avec notre communauté. Explore les applications de l'IA dans les voitures autonomes et l'agriculture sur nos pages de solutions. 🚀