Générer des vidéos avec Google DeepMind's Veo

Lors de la présentation 2024 I/O de Google, le 14 mai dernier, l'entreprise a partagé les dernières mises à jour de DeepMind, sa division d'intelligence artificielle. L'une des avancées les plus intéressantes a été le nouveau modèle vidéo génératif, Veo. Veo peut créer des vidéos 1080P de haute qualité à partir de textes, d'images et de messages vidéo. Il vous permet même d'éditer les vidéos générées à l'aide d'invites ultérieures. Avec Veo, l'IA générative passe à la vitesse supérieure. Examinons de plus près les fonctionnalités offertes par Veo. 

Comprendre les capacités de Veo

Veo est un modèle vidéo génératif qui s'appuie sur une compréhension approfondie du langage et des éléments visuels pour créer des vidéos qui correspondent étroitement à la vision créative de l'utilisateur. Il peut capturer avec précision le ton et les détails de messages plus longs, ce qui en fait un outil puissant pour les créateurs qui souhaitent transformer leurs idées en contenu vidéo précis.

L'utilisateur peut exercer un contrôle créatif inédit sur la vidéo générée, car Veo peut comprendre des techniques cinématographiques telles que le "timelapse" et les "prises de vue aériennes d'un paysage". Ce contrôle créatif permet aux utilisateurs de créer des vidéos dans lesquelles les personnes, les animaux et les objets se déplacent naturellement. Les vidéos générées par Veo sont attrayantes et visuellement séduisantes, car il est difficile de voir qu'elles sont générées par un modèle d'IA.

Veo ne se contente pas de créer des vidéos à partir d'invites. Si vous fournissez une vidéo déjà générée et une demande de modification spécifique, telle que l'insertion de kayaks dans une vue aérienne d'un littoral, Veo peut intégrer de manière transparente cette modification dans la vidéo originale, produisant ainsi une version mise à jour.

Voici d'autres fonctionnalités offertes par Veo :

• Montage masqué : Veo peut vous aider à éditer des zones définies d'une vidéo.
  ‍
• Création de vidéos inspirées d'images : A partir d'une image et d'un texte, Veo peut générer des vidéos qui reflètent le style de l'image et suivent les instructions du texte.
  ‍
• Clips vidéo étendus : Veo peut créer et prolonger des clips vidéo jusqu'à 60 secondes ou plus, soit à partir d'une seule invite, soit à partir d'une séquence d'invites qui, ensemble, racontent une histoire.

Des vidéos à couper le souffle générées par Veo

Passons en revue quelques-unes des vidéos produites par Veo et expliquons pourquoi elles sont si époustouflantes. 

Générer une vidéo d'un timelapse à partir d'un texte court est un défi. En général, ce texte ne peut pas transmettre avec précision les changements et les mouvements au sein de la scène du timelapse. Il est donc étonnant que Veo puisse comprendre ce que l'on attend d'un timelapse sans entrer dans les détails. 

‍

De même, il n'est pas facile de générer des vidéos avec une physique précise. Le modèle d'IA doit comprendre et simuler les lois de la physique telles que la gravité, l'élan et les collisions pour que les mouvements et les interactions paraissent réalistes. Il est impressionnant de constater que Veo est capable de modéliser avec précision ces dynamiques sans être guidé par des messages textuels détaillés.

‍

Jusqu'à présent, nous n'avons vu que des vidéos courtes générées par l'IA en raison des limitations informatiques et de la complexité du maintien de la cohérence sur des séquences plus longues. Lors de la présentation 2024 I/O de Google, Veo a montré son étonnante capacité à créer des vidéos plus longues et plus complexes.

‍

Comment fonctionne Veo ?

Comme beaucoup d'autres modèles d'IA, Veo repose sur les épaules de géants. Il s'appuie sur des avancées antérieures telles que Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet et Lumiere, ainsi que sur l'architecture Transformer et Gemini, propriété de Google. De plus, afin d'améliorer la capacité de Veo à interpréter les invites avec précision, les sous-titres de chaque vidéo de son ensemble de données d'entraînement ont été plus détaillés. 

En se basant sur le modèle approximatif de flux de travail partagé par Google, voici comment fonctionne Veo :

• Invites de saisie : Vous fournissez une invite de texte et, en option, une invite d'image.
  ‍
• Encodage : L'invite de texte est traitée par un encodeur UL2 et l'invite d'image est traitée par un encodeur d'image.
  ‍
• Invite intégrée : Les sorties des codeurs de texte et d'image sont combinées pour former une seule invite intégrée.
  ‍
• Modèle de diffusion latente : L'invite intégrée et une vidéo compressée bruyante sont transmises à ce modèle qui génère une vidéo compressée en les utilisant. Veo utilise des représentations vidéo compressées de haute qualité, connues sous le nom de latents, pour améliorer l'efficacité tout en maintenant la qualité.
  ‍
• Décodage : L'étape finale consiste à décoder la sortie vidéo 1080p à partir de la vidéo compressée.

‍

Une étude de cas convaincante sur la réalisation d'un film

Pour tester les capacités de Veo, Google a fait équipe avec le cinéaste Donald Glover et son studio de création, Gilga. Ils ont utilisé Veo pour explorer diverses techniques créatives, notamment les plans de suivi dynamiques, qui nécessitent des mouvements précis et un cadrage cohérent. 

‍

Traditionnellement, les cinéastes sont limités par des contraintes de temps et de ressources. Avec Veo, Glover et son équipe ont pu rapidement expérimenter et générer des plans complexes, ce qui a permis d'accroître la flexibilité et l'innovation dans le processus de réalisation.

Avec Veo, Glover et son équipe ont pu rapidement expérimenter et générer des plans complexes avant le tournage. Par exemple, ils ont pu tester différents plans de suivi dynamique pour voir ce qu'ils donneraient et faire les ajustements nécessaires. Ce processus de prévisualisation les a aidés à affiner leurs idées et à s'assurer que les plans fonctionneraient comme prévu, ce qui a permis de réduire le nombre de prises nécessaires pendant le tournage. Ils ont pu créer une étude de cas convaincante pour démontrer le potentiel de Veo à changer l'industrie cinématographique. Il offre un moyen plus rapide et plus efficace de donner vie à des visions créatives.

Utilisations pratiques de Veo dans divers secteurs d'activité 

Les capacités avancées de génération vidéo de Veo ont des applications pratiques dans de nombreux secteurs. Dans le domaine de la publicité, Veo permet de produire rapidement des publicités personnalisées de haute qualité pour des publics ciblés, ce qui permet de gagner du temps et de réduire les coûts de production. Dans le domaine de l'éducation, Veo peut créer des vidéos pédagogiques attrayantes, facilitant la compréhension de concepts complexes. 

Les entreprises peuvent utiliser Veo pour la formation et la communication d'entreprise. Les professionnels de la santé peuvent utiliser Veo pour simuler des procédures médicales à des fins de formation. En ce qui concerne les événements et conférences virtuels, Veo peut créer des simulations réalistes de lieux et de scènes, offrant aux participants une expérience attrayante et interactive où qu'ils se trouvent. Les organisateurs bénéficient d'une plus grande portée et d'informations précieuses pour les événements futurs. Grâce à Veo, d'innombrables possibilités se sont ouvertes.

Lorsqu'un modèle d'IA a le potentiel de toucher différents secteurs, il est important de garder à l'esprit la sécurité et l'éthique de l'IA. Pour permettre une adoption plus large et garantir une utilisation responsable, Google a mis en place plusieurs mesures de sécurité. Les vidéos créées par Veo sont filigranées à l'aide de SynthID, un outil permettant de filigraner et d'identifier les contenus générés par l'IA. SynthId garantit la transparence et contribue à atténuer les risques liés à la confidentialité, aux droits d'auteur et à la partialité. En outre, toutes les vidéos générées passent par des filtres de sécurité et des processus de vérification de la mémorisation. Ces garanties font de Veo un outil précieux et éthique qui soutient une production vidéo responsable et innovante.

Où accéder à Veo

Dans les semaines à venir, Google commencera à proposer certaines des fonctionnalités révolutionnaires de Veo à certains créateurs par l'intermédiaire de VideoFX, un nouvel outil disponible sur labs.google. Cette initiative permet un accès anticipé aux capacités avancées de génération de vidéos de Veo, donnant aux créateurs l'opportunité d'expérimenter ses fonctionnalités innovantes. La liste d'attente pour Veo est actuellement ouverte, invitant les créateurs intéressés à s'inscrire et à utiliser les puissants outils de Veo dans leurs projets.

En savoir plus sur les mises à jour de l'IA générative 2024 de DeepMind

Outre Veo, DeepMind a présenté plusieurs mises à jour de pointe en matière d'IA générative pour 2024. L'une de ces mises à jour est Imagen 3, leur modèle texte-image le plus avancé à ce jour. Imagen 3 excelle dans la création d'images photoréalistes et réalistes. Il comprend parfaitement les messages en langage naturel et capture des détails complexes tout en minimisant les artefacts visuels.

‍

DeepMind a également développé Lyria, son modèle le plus avancé pour la génération de musique par l'IA. Dans le cadre de cet effort, DeepMind a créé une suite d'outils d'IA musicale appelée Music AI Sandbox. Ces outils permettent aux musiciens et aux producteurs d'explorer de nouvelles possibilités créatives en matière de composition musicale et de transformation du son.

‍

À l'instar de Veo, DeepMind a mis en place plusieurs mesures de sécurité pour ses autres mises à jour. Le SynthID sera utilisé dans toutes ces mises à jour comme outil de filigrane et d'identification des contenus générés par l'IA. Ces mises à jour de DeepMind promettent de transformer diverses industries en offrant des outils avancés, efficaces et responsables pour créer des contenus visuels et audio de haute qualité.

Naviguer dans la prochaine phase de l'IA générative

Les avancées de DeepMind en matière d'IA générative pour 2024, notamment Veo, Imagen 3 et Lyria, marquent un bond considérable dans les capacités de l'IA. Veo transforme la création vidéo grâce à sa capacité à générer des vidéos 1080p de haute qualité à partir de simples invites, ce qui en fait un outil polyvalent pour les cinéastes et les créateurs de contenu. Imagen 3 se distingue par la production d'images photoréalistes, tandis que Lyria introduit de nouvelles possibilités dans la génération de musique grâce à des outils d'IA avancés.

Ces technologies promettent de transformer diverses industries en fournissant des outils efficaces et responsables pour créer des contenus visuels et audio de haute qualité. Grâce à des mesures de sécurité telles que SynthID, qui garantissent une utilisation éthique, DeepMind continue de repousser les limites de l'IA, ouvrant la voie à des applications innovantes à l'avenir.

Plongez dans l'IA en visitant notre dépôt GitHub et en rejoignant notre communauté. Explorez nos pages de solutions pour découvrir comment l'IA est appliquée à la fabrication et à l'agriculture.