Meta Movie Gen : Réimaginer la création de contenu

Que vous soyez un cinéaste en herbe ou un créateur de contenu qui aime réaliser des vidéos pour son public, il est toujours utile de disposer d'outils d'IA qui élargissent votre créativité. Meta a récemment lancé son dernier modèle vidéo génératif, connu sous le nom de Meta Movie Gen. 

Le marché mondial de l'IA générative dans les médias et le divertissement devrait atteindre 11,57 milliards de dollars d'ici 2033, avec des entreprises comme Runway, OpenAI et Meta qui ouvrent la voie à des innovations révolutionnaires. Meta Movie Gen, en particulier, est idéal pour des applications telles que la réalisation de films, la création de contenu vidéo et la narration numérique. Il est ainsi plus facile que jamais de donner vie à des visions créatives grâce à des vidéos de haute qualité générées par l'IA. Dans cet article, nous allons explorer Meta Movie Gen et son fonctionnement. Nous examinerons également de plus près certaines de ses applications. C'est parti !

‍

Qu'est-ce que Meta Movie Gen ?

Avant de parler de ce qu'est la Meta Movie Gen, voyons comment elle a vu le jour. 

Les efforts de recherche de Meta en matière d'IA générative ont commencé avec la série de modèles Make-A-Scene. Cette recherche se concentre sur une méthode d'IA générative multimodale qui aide les artistes et les visionnaires à donner vie à leur imagination. Les artistes peuvent introduire des images, du son, des vidéos ou des animations 3D pour obtenir l'image qu'ils souhaitent. La prochaine étape de l'innovation a été franchie avec des modèles de diffusion tels que les modèles Llama Image Foundation(Emu), qui ont permis de générer des images et des vidéos de bien meilleure qualité et ont rendu possible l'édition d'images.

‍

Movie Gen est la dernière contribution de Meta à la recherche sur l 'IA générative. Il combine toutes les modalités mentionnées précédemment et permet un contrôle plus fin afin que les utilisateurs puissent utiliser les modèles de manière plus créative. Meta Movie Gen est une collection de modèles fondamentaux pour la génération de différents types de médias, y compris le texte-vidéo, le texte-audio et le texte-image. Il se compose de quatre modèles, qui sont entraînés sur une combinaison d'ensembles de données sous licence et accessibles au public. 

Voici un aperçu rapide de ces modèles :

• Modèle vidéo Movie Gen : Un modèle de 30 milliards de paramètres qui génère des vidéos de haute qualité à partir d'invites textuelles.
  ‍
• Modèle Movie Gen Audio : Un modèle de 13 milliards de paramètres qui peut créer des bandes sonores synchronisées avec le contenu vidéo.
  ‍
• Modèle de vidéo personnalisée Movie Gen : Il génère des vidéos de personnes spécifiques à partir d'un texte et d'une image, en conservant leur ressemblance.
  ‍
• Modèle Movie Gen Edit : Ce modèle permet de réaliser des montages vidéo détaillés, basés sur du texte, pour des vidéos réelles ou fictives. 

Formation du modèle vidéo Meta Movie Gen

Plusieurs processus clés ont été impliqués dans la création et la formation du modèle Movie Gen Video. La première étape a consisté à collecter et à préparer des données visuelles, notamment des images et des clips vidéo, principalement des activités humaines filtrées en fonction de la qualité, du mouvement et de la pertinence. Les données ont ensuite été associées à des légendes expliquant ce qui se passait dans chaque scène. Les légendes, générées à l'aide du modèle LLaMa3-Video de Meta, ont fourni de nombreux détails sur le contenu de chaque scène, améliorant ainsi les capacités de narration visuelle du modèle.

‍

Le processus de formation a commencé par l'apprentissage de la transformation du texte en images de faible résolution. Il a ensuite progressé jusqu'à la création de clips vidéo complets grâce à une combinaison de formation texte-image et texte-vidéo, en utilisant des images de qualité croissante. 

Un outil appelé TAE (Temporal Autoencoder) a compressé les vidéos pour gérer efficacement de grands volumes de données. Un réglage fin a permis d'améliorer encore la qualité de la vidéo, et une méthode appelée moyenne de modèle (qui combine plusieurs sorties de modèle pour obtenir des résultats plus lisses et plus cohérents) a assuré une plus grande homogénéité des sorties. Enfin, la vidéo, initialement en 768p, a été convertie en une résolution nette de 1080p à l'aide d'une technique de suréchantillonnage spatial, qui augmente la résolution de l'image en ajoutant des données de pixels pour des visuels plus clairs. Il en résulte des sorties vidéo détaillées et de haute qualité.

Exploration des capacités de Meta Movie Gen

Les modèles Meta Movie Gen prennent principalement en charge quatre capacités différentes. Examinons chacune d'entre elles de plus près.

Génération de vidéo et d'audio

Meta Movie Gen peut générer des vidéos de haute qualité. Ces clips vidéo peuvent durer jusqu'à 16 secondes et tourner à 16 images par seconde, créant ainsi des visuels réalistes qui capturent les mouvements, les interactions et les angles de caméra à partir d'invites textuelles. Associé au modèle audio de 13 milliards de paramètres, il peut produire des sons synchronisés, y compris des sons ambiants, des effets sonores et de la musique, en harmonie avec les images. 

Cette configuration garantit une expérience transparente et réaliste, où les images et le son restent alignés et réalistes au fil des scènes et des invites. Par exemple, ces modèles ont été utilisés pour créer des clips vidéo de l'hippopotame porcin viral de Thaïlande, appelé Moo Deng.

‍

Génération de vidéos personnalisées

Une autre capacité intéressante du modèle Meta Movie Gen est la génération de vidéos personnalisées. Les utilisateurs peuvent fournir l'image d'une personne et un texte décrivant la manière dont le clip vidéo doit être généré, ce qui permet d'obtenir une vidéo incluant la personne de référence et incorporant les détails visuels spécifiés dans le texte. Le modèle utilise les deux entrées (image et texte) pour conserver l'apparence unique de la personne et les mouvements naturels de son corps, tout en suivant avec précision la scène décrite dans l'invite.

‍

Un montage vidéo précis 

Grâce au modèle Movie Gen Edit, les utilisateurs peuvent fournir un clip vidéo et une invite textuelle en entrée pour éditer la vidéo de manière créative. Le modèle associe la génération de vidéos à l'édition d'images avancée pour effectuer des modifications très spécifiques, telles que l'ajout, la suppression ou le remplacement d'éléments. Il permet également d'effectuer des changements globaux tels que la modification de l'arrière-plan du clip vidéo ou du style général. Mais ce qui rend le modèle vraiment unique, c'est sa précision : il peut cibler uniquement les pixels spécifiques qui doivent être modifiés et laisser le reste intact. Le contenu original est ainsi préservé autant que possible. 

‍

Outils d'analyse comparative de Meta Movie Gen

Outre les modèles d'IA générative, Meta a également présenté Movie Gen Bench, une suite d'outils d'analyse comparative permettant de tester les performances des modèles d'IA générative. Elle comprend deux outils principaux : Movie Gen Video Bench et Movie Gen Audio Bench. Tous deux sont conçus pour tester différents aspects de la génération vidéo et audio.

Voici un aperçu des deux outils :

• Movie Gen Video Bench: Il se compose de 1003 invites couvrant une grande variété de catégories de test telles que les activités humaines, les animaux, les paysages naturels, la physique, ainsi que des sujets et des activités inhabituels. Ce qui rend ce banc d'évaluation particulièrement précieux, c'est sa couverture des niveaux de mouvement, qui garantit que le modèle de génération vidéo est testé pour des séquences rapides et lentes.
  ‍
• Movie Gen Audio Bench : Il est conçu pour tester les capacités de génération audio à travers 527 invites. Ces invites sont associées à des vidéos générées afin d'évaluer la capacité du modèle à synchroniser les effets sonores et la musique avec le contenu visuel.

‍

Une application pratique de Meta Movie Gen

Maintenant que nous avons expliqué ce que sont les modèles Meta Movie Gen et comment ils fonctionnent, examinons l'une de leurs applications pratiques. 

Movie Gen Les innovations de l'IA dans la réalisation de films

L'une des utilisations les plus intéressantes de Movie Gen de Meta est la façon dont il peut transformer la réalisation de films grâce à la création vidéo et audio alimentée par l'IA. Avec Movie Gen, les créateurs peuvent générer des images et des sons de haute qualité à partir de simples invites textuelles, ce qui ouvre la voie à de nouvelles façons de raconter des histoires. 

En fait, Meta a fait équipe avec Blumhouse et un groupe de cinéastes, recueillant leurs commentaires sur la façon dont Movie Gen peut soutenir au mieux le processus créatif. Des cinéastes comme Aneesh Chaganty, les sœurs Spurlock et Casey Affleck ont testé la capacité de l'outil à capturer l'ambiance, le ton et la direction visuelle. Ils ont découvert que les modèles les aidaient à trouver de nouvelles idées.

Ce programme pilote a montré que si Movie Gen ne remplace pas la réalisation de films traditionnels, il offre aux réalisateurs un nouveau moyen d'expérimenter des éléments visuels et sonores de manière rapide et créative. Les réalisateurs ont également apprécié la façon dont les fonctions d'édition de l'outil leur permettent de jouer plus librement avec les sons d'arrière-plan, les effets et les styles visuels. 

‍

Principaux enseignements

Meta Movie Gen est un pas en avant dans l'utilisation de l'IA générative pour créer des vidéos et des sons de haute qualité à partir de simples descriptions textuelles. Cet outil permet aux utilisateurs de créer facilement des vidéos réalistes et personnalisées. Avec des fonctionnalités telles que l'édition vidéo précise et la génération de médias personnalisés, Meta Movie Gen offre un ensemble d'outils flexibles qui ouvrent de nouvelles possibilités pour la narration, la réalisation de films et bien plus encore. En facilitant la création de visuels détaillés et utiles, Meta Movie Gen transforme la manière dont les vidéos sont réalisées et utilisées dans différents domaines et établit une nouvelle norme pour la création de contenu pilotée par l'IA.

Pour en savoir plus, visitez notre dépôt GitHub et participez à la vie de notre communauté. Explorez les applications de l'IA dans les voitures auto-conduites et l'agriculture sur nos pages de solutions. 🚀