Générer des vidéos avec Veo de Google DeepMind

Lors de la présentation Google I/O 2024 du 14 mai, Google a présenté les dernières nouveautés de DeepMind, sa division dédiée à l’IA. L’une des principales annonces était Veo, un nouveau modèle de génération vidéo. Veo peut créer des vidéos 1080p de haute qualité à partir d’invites textuelles, d’images et de vidéos. Il permet même de modifier les vidéos générées à l’aide d’invites ultérieures. Voyons de plus près les fonctionnalités de Veo.

Comprendre les capacités de Veo#

Veo est un modèle de génération vidéo qui s’appuie sur une compréhension approfondie du langage et des éléments visuels pour créer des vidéos correspondant étroitement à la vision créative de l’utilisateur. Il restitue fidèlement le ton et les détails de prompts plus longs, ce qui en fait un outil puissant pour les créateurs qui veulent transformer leurs idées en contenus vidéo précis.

L’utilisateur peut exercer un contrôle créatif précis sur la vidéo générée, car Veo comprend des techniques cinématographiques comme le « timelapse » et les « prises de vue aériennes d’un paysage ». Ce contrôle créatif permet de créer des vidéos dans lesquelles les personnes, les animaux et les objets se déplacent naturellement. Les vidéos générées par Veo sont captivantes et visuellement attrayantes, car il est difficile de voir qu’elles ont été créées par un modèle d’IA.

Veo ne se limite pas à créer des vidéos à partir d’invites. Si tu lui fournis une vidéo précédemment générée et une demande de modification précise, comme l’ajout de kayaks à une vue aérienne d’un littoral, Veo peut intégrer ce changement à la vidéo d’origine et en produire une version mise à jour.

Fig. 1 Exemple de montage vidéo avec Veo.

Voici d’autres fonctionnalités proposées par Veo :

• Montage par masque : Veo peut t’aider à modifier des zones définies d’une vidéo.
• Création vidéo inspirée d’une image : à partir d’une image et d’un prompt textuel, Veo peut générer des vidéos qui reprennent le style de l’image et suivent les instructions du prompt.
• Clips vidéo prolongés : Veo peut créer et prolonger des clips vidéo jusqu’à 60 secondes ou plus, à partir d’un seul prompt ou d’une séquence de prompts qui racontent ensemble une histoire.

Des vidéos à couper le souffle générées par Veo#

Découvrons quelques-unes des vidéos générées par Veo et ce qui les distingue.

Générer une vidéo en accéléré à partir d’une courte invite textuelle est difficile. En général, une invite courte ne décrit pas avec précision les changements et les mouvements dans la scène en accéléré. Il est donc remarquable que Veo puisse comprendre ce qu’implique un timelapse sans entrer dans les détails.

Fig. 2 Image extraite de la vidéo en accéléré générée par Veo.

De même, générer des vidéos qui respectent les lois de la physique n’est pas facile. Le modèle d’IA doit comprendre et simuler des lois physiques comme la gravité, l’élan et les collisions pour rendre les mouvements et les interactions réalistes. Il est impressionnant que Veo puisse modéliser ces dynamiques avec précision, sans indications détaillées dans les prompts textuels.

Fig. 3 Une image extraite d’une vidéo générée avec Veo restitue fidèlement la physique du mouvement des méduses.

Jusqu’à présent, les vidéos générées par l’IA étaient courtes, en raison des limites de calcul et de la difficulté à préserver la cohérence sur des séquences plus longues. Lors de la présentation Google I/O 2024, la capacité de Veo à créer des vidéos plus longues et plus complexes a été démontrée.

Fig. 4 Images extraites de la vidéo plus longue de Veo présentée à Google I/O 2024.

Comment fonctionne Veo ?#

Comme de nombreux autres modèles d’IA, Veo s’appuie sur les travaux de ses prédécesseurs. Il tire parti d’avancées antérieures comme Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet et Lumiere, ainsi que de l’architecture Transformer de Google et de Gemini. De plus, pour améliorer la capacité de Veo à interpréter correctement les prompts, les légendes de chaque vidéo de son jeu de données d’entraînement ont été détaillées davantage.

D’après le schéma général du fonctionnement du modèle partagé par Google, voici comment fonctionne Veo :

• Prompts d’entrée : tu fournis un prompt textuel et, en option, un prompt sous forme d’image.
• Encodage : le prompt textuel est traité par un encodeur UL2 et le prompt sous forme d’image, par un encodeur d’images.
• Prompt intégré : les sorties des encodeurs de texte et d’image sont combinées pour former un seul prompt intégré.
• Modèle de diffusion latente : le prompt intégré et une vidéo compressée bruitée sont transmis à ce modèle, qui s’en sert pour générer une vidéo compressée. Veo utilise des représentations vidéo compressées de haute qualité, appelées latents, afin d’améliorer l’efficacité tout en préservant la qualité.
• Décodage : la dernière étape consiste à décoder la vidéo compressée pour obtenir la vidéo finale en 1080p.

Fig. 5 Fonctionnement de Veo.

Un cas d’étude captivant dans le domaine du cinéma#

Pour tester les capacités de Veo, Google s’est associé au cinéaste Donald Glover et à son studio créatif, Gilga. Ils ont utilisé Veo pour explorer différentes techniques créatives, notamment les travellings dynamiques, qui exigent des mouvements précis et un cadrage constant.

Fig. 6 Utilisation de Veo dans le processus de réalisation d’un film.

Traditionnellement, les cinéastes sont limités par les contraintes de temps et de ressources. Avec Veo, Glover et son équipe ont pu expérimenter rapidement et générer des plans complexes, ce qui leur a donné davantage de flexibilité et favorisé l’innovation dans le processus de réalisation d’un film.

Par exemple, avant le tournage, ils pouvaient tester différents mouvements de caméra dynamiques pour voir le résultat et apporter les ajustements nécessaires. Cette prévisualisation les a aidés à affiner leurs idées et à vérifier que les plans fonctionneraient comme prévu, réduisant ainsi le nombre de prises nécessaires pendant le tournage. Ils ont pu créer une étude de cas convaincante pour démontrer le potentiel de Veo à transformer l’industrie du cinéma. Veo offre un moyen plus rapide et plus efficace de donner vie aux visions créatives.

Applications pratiques de Veo dans divers secteurs#

Les capacités avancées de génération vidéo de Veo sont utiles dans de nombreux secteurs. Dans la publicité, Veo peut produire rapidement des publicités personnalisées de haute qualité pour des publics ciblés, ce qui permet de gagner du temps et de réduire les coûts de production. Dans l’éducation, Veo peut créer des vidéos pédagogiques captivantes qui facilitent la compréhension des concepts complexes.

Les entreprises peuvent utiliser Veo pour la formation et la communication d’entreprise. Les professionnels de la santé pourraient s’en servir pour simuler des procédures médicales à des fins de formation. Pour les événements et conférences virtuels, Veo peut créer des simulations réalistes de lieux et de scènes, offrant aux participants une expérience captivante et interactive où qu’ils se trouvent. Les organisateurs bénéficient d’une audience élargie et d’informations précieuses pour leurs futurs événements.

Lorsqu’un modèle d’IA est susceptible d’avoir des répercussions dans différents secteurs, il est important de tenir compte de la sécurité et de l’éthique de l’IA. Pour favoriser une adoption plus large et garantir une utilisation responsable, Google a mis en place plusieurs mesures de sécurité. Les vidéos créées par Veo sont filigranées avec SynthID, un outil permettant d’ajouter des filigranes et d’identifier les contenus générés par l’IA. SynthID favorise la transparence et contribue à atténuer les risques liés à la confidentialité, aux droits d’auteur et aux biais. De plus, toutes les vidéos générées passent par des filtres de sécurité et des processus de vérification de la mémorisation. Ces mesures de protection visent à favoriser une production vidéo responsable.

Où accéder à Veo#

À son lancement, Google a annoncé qu’il commencerait à proposer certaines fonctionnalités de Veo à des créateurs sélectionnés via VideoFX, un nouvel outil disponible sur labs.google, leur donnant un accès anticipé pour expérimenter ses capacités de génération vidéo. Une liste d’attente pour Veo a été ouverte aux créateurs intéressés.

En savoir plus sur les nouveautés de l’IA générative de DeepMind en 2024#

Outre Veo, DeepMind a présenté plusieurs nouveautés en IA générative pour 2024. L’une d’elles est Imagen 3, son modèle de génération d’images à partir de texte le plus avancé à l’époque. Imagen 3 excelle dans la création d’images photoréalistes et naturelles. Il comprend en profondeur les invites en langage naturel et restitue les détails complexes tout en réduisant les artefacts visuels.

Fig. 7 Image générée avec Imagen 3.

DeepMind a également développé Lyria, son modèle le plus avancé pour la génération musicale par IA. Dans le cadre de ce projet, DeepMind a créé une suite d’outils d’IA musicale appelée Music AI Sandbox. Ces outils permettent aux musiciens et aux producteurs d’explorer de nouvelles possibilités créatives en composition musicale et en transformation sonore.

Fig. 8 Exemple d’interface utilisateur des outils d’IA musicale de DeepMind.

Comme pour Veo, DeepMind a également mis en place plusieurs mesures de sécurité pour ses autres nouveautés. SynthID sera utilisé dans l’ensemble de ces nouveautés comme outil de marquage et d’identification des contenus générés par l’IA. Ces nouveautés de DeepMind promettent de transformer divers secteurs grâce à des outils avancés, efficaces et responsables, permettant de créer des contenus visuels et audio de haute qualité.

Aborder la prochaine phase de l’IA générative#

Les avancées de DeepMind en IA générative en 2024, notamment Veo, Imagen 3 et Lyria, marquent un progrès considérable des capacités de l’IA. Veo transforme la création vidéo en générant des vidéos 1080p de haute qualité à partir de simples prompts, ce qui en fait un outil polyvalent pour les cinéastes et les créateurs de contenu. Imagen 3 se distingue par sa production d’images photoréalistes, tandis que Lyria ouvre de nouvelles possibilités en génération musicale grâce à des outils d’IA avancés.

Ces technologies promettent de transformer divers secteurs en fournissant des outils efficaces et responsables pour créer des contenus visuels et audio de haute qualité. Grâce à des mesures de sécurité comme SynthID, qui garantit une utilisation éthique, DeepMind continue de repousser les limites de l’IA et ouvre la voie à des applications innovantes pour l’avenir.

Plonge dans l’IA en consultant notre dépôt GitHub et en rejoignant notre communauté. Découvre nos pages consacrées aux solutions pour savoir comment l’IA est utilisée dans la fabrication et l’agriculture.