Générer des vidéos avec Veo de Google DeepMind
Découvre Veo, le dernier modèle de génération vidéo de Google DeepMind, capable de créer facilement des vidéos 1080P de haute qualité à partir d’invites textuelles, d’images et de vidéos.
Lors de la présentation de Google I/O 2024 le 14 mai, Google a partagé les dernières avancées de DeepMind, sa division dédiée à l’IA. L’une des avancées les plus enthousiasmantes présentées était son tout nouveau modèle génératif vidéo, Veo. Veo peut créer des vidéos 1080P de haute qualité à partir d’invites textuelles, d’images et de vidéos. Il te permet même de modifier les vidéos générées avec des invites ultérieures. Veo fait passer l’IA générative au niveau supérieur. Examinons de plus près les fonctionnalités proposées par Veo.
Comprendre les capacités de Veo#
Veo est un modèle génératif vidéo qui s’appuie sur une compréhension approfondie du langage et des éléments visuels pour créer des vidéos correspondant étroitement à la vision créative de l’utilisateur. Il peut restituer avec précision le ton et les détails d’invites plus longues, ce qui en fait un outil puissant pour les créateurs qui souhaitent transformer leurs idées en contenus vidéo précis.
L’utilisateur peut exercer un contrôle créatif inédit sur la vidéo générée, car Veo comprend des techniques cinématographiques comme « timelapse » et « prises de vue aériennes d’un paysage ». Ce contrôle créatif permet de créer des vidéos où les personnes, les animaux et les objets se déplacent naturellement. Les vidéos générées par Veo sont captivantes et visuellement attrayantes, car il est difficile de repérer qu’elles ont été générées par un modèle d’IA.
Veo ne se limite pas à créer des vidéos à partir d’invites. Si tu lui fournis une vidéo précédemment générée et une demande de modification précise, comme l’insertion de kayaks dans une vue aérienne d’un littoral, Veo peut intégrer cette modification de manière fluide à la vidéo originale afin de produire une version mise à jour.
Fig. 1 Un exemple de montage vidéo avec Veo.
Voici quelques autres fonctionnalités proposées par Veo :
- Montage masqué : Veo peut t’aider à modifier des zones définies d’une vidéo.
- Création vidéo inspirée d’une image : à partir d’une image et d’une invite textuelle, Veo peut générer des vidéos qui reprennent le style de l’image et suivent les indications de l’invite.
- Clips vidéo prolongés : Veo peut créer et prolonger des clips vidéo jusqu’à 60 secondes ou plus, à partir d’une seule invite ou d’une séquence d’invites qui racontent ensemble une histoire.
Des vidéos époustouflantes générées par Veo#
Parcourons quelques-unes des vidéos générées par Veo et voyons pourquoi elles sont si époustouflantes.
Générer une vidéo en timelapse à partir d’une courte invite textuelle est difficile. En général, une courte invite textuelle ne peut pas décrire avec précision les changements et les mouvements qui se produisent dans la scène en timelapse. Il est donc étonnant que Veo puisse comprendre ce qu’il doit attendre d’un timelapse sans entrer dans les détails.
Fig. 2 Une image de la vidéo en timelapse générée par Veo.
De même, générer des vidéos obéissant à une physique réaliste n’est pas simple. Le modèle d’IA doit comprendre et simuler les lois de la physique, comme la gravité, la quantité de mouvement et les collisions, pour que les mouvements et les interactions paraissent réalistes. Il est impressionnant que Veo soit capable de modéliser précisément ces dynamiques sans indications détaillées dans les invites textuelles.
Fig. 3 Une image d’une vidéo générée avec Veo capture avec précision la physique des mouvements d’une méduse.
Jusqu’à présent, nous n’avions vu que des vidéos courtes générées par l’IA en raison des limites de calcul et de la complexité du maintien de la cohérence sur des séquences plus longues. Lors de la présentation de Google I/O 2024, la capacité impressionnante de Veo à créer des vidéos plus longues et plus complexes a été présentée.
Fig. 4 Images extraites de la vidéo plus longue de Veo présentée lors de Google I/O 2024.
Comment fonctionne Veo ?#
Comme beaucoup d’autres modèles d’IA, Veo s’appuie sur les avancées de ses prédécesseurs. Il tire parti d’avancées antérieures comme le Réseau de requêtes génératives (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet et Lumiere, ainsi que de l’architecture Transformer propriétaire de Google et de Gemini. De plus, pour améliorer la capacité de Veo à interpréter précisément les invites, les légendes de chaque vidéo de son jeu de données d’entraînement étaient plus détaillées.
D’après le flux de fonctionnement général du modèle partagé par Google, voici comment fonctionne Veo :
- Invites d’entrée : tu fournis une invite textuelle et, facultativement, une invite sous forme d’image.
- Encodage : l’invite textuelle est traitée par un encodeur UL2 et l’invite sous forme d’image est traitée par un encodeur d’image.
- Invite incorporée : les sorties des encodeurs textuel et d’image sont combinées pour former une seule invite incorporée.
- Modèle de diffusion latente : l’invite incorporée et une vidéo compressée bruitée sont transmises à ce modèle, qui les utilise pour générer une vidéo compressée. Veo utilise des représentations vidéo compressées de haute qualité, appelées latents, afin d’améliorer l’efficacité tout en préservant la qualité.
- Décodage : la dernière étape décode la sortie vidéo 1080p à partir de la vidéo compressée.
Fig. 5 Fonctionnement de Veo.
Une étude de cas captivante dans le domaine du cinéma#
Pour tester les capacités de Veo, Google s’est associé au cinéaste Donald Glover et à son studio créatif, Gilga. Ils ont utilisé Veo pour explorer diverses techniques créatives, notamment les travellings dynamiques, qui exigent des mouvements précis et un cadrage constant.
Fig. 6 Utilisation de Veo dans le processus de réalisation.
Traditionnellement, les cinéastes sont limités par les contraintes de temps et de ressources. Avec Veo, Glover et son équipe ont pu expérimenter et générer rapidement des plans complexes, ce qui leur a offert davantage de flexibilité et favorisé l’innovation dans le processus de réalisation.
Avec Veo, Glover et son équipe ont pu expérimenter et générer rapidement des plans complexes avant le tournage. Ils pouvaient par exemple tester différents travellings dynamiques pour voir leur rendu et effectuer les ajustements nécessaires. Ce processus de prévisualisation les a aidés à affiner leurs idées et à s’assurer que les plans fonctionneraient comme prévu, réduisant finalement le nombre de prises nécessaires pendant le tournage. Ils ont ainsi pu créer une étude de cas convaincante démontrant le potentiel de Veo pour transformer l’industrie du cinéma. Veo offre un moyen plus rapide et plus efficace de donner vie aux visions créatives.
Applications pratiques de Veo dans différents secteurs#
Les capacités avancées de génération vidéo de Veo ont des applications pratiques dans de nombreux secteurs. Dans la publicité, il peut rapidement produire des publicités personnalisées et de haute qualité pour des audiences ciblées, ce qui permet de gagner du temps et de réduire les coûts de production. Dans l’éducation, Veo peut créer des vidéos pédagogiques attrayantes qui facilitent la compréhension de concepts complexes.
Les entreprises peuvent utiliser Veo pour la formation et la communication interne. Les professionnels de la santé pourraient utiliser Veo pour simuler des procédures médicales à des fins de formation. Pour les événements et les conférences virtuels, Veo peut créer des simulations réalistes de lieux et de scènes, offrant aux participants une expérience attrayante et interactive depuis n’importe où. Les organisateurs bénéficient d’une portée accrue et d’informations précieuses pour leurs futurs événements. Grâce à Veo, d’innombrables possibilités s’ouvrent.
Lorsqu’un modèle d’IA a le potentiel de toucher différents secteurs, il est important de garder à l’esprit la sécurité et l’éthique de l’IA. Pour favoriser une adoption plus large et garantir une utilisation responsable, Google a mis en place plusieurs mesures de sécurité. Les vidéos créées par Veo sont marquées par un filigrane à l’aide de SynthID, un outil de filigranage et d’identification des contenus générés par l’IA. SynthID garantit la transparence et contribue à limiter les risques liés à la confidentialité, aux droits d’auteur et aux biais. En outre, toutes les vidéos générées passent par des filtres de sécurité et des processus de vérification de mémorisation. Ces mesures de protection font de Veo un outil précieux et éthique, qui favorise une production vidéo responsable et innovante.
Où accéder à Veo#
Dans les prochaines semaines, Google commencera à proposer certaines des fonctionnalités révolutionnaires de Veo à une sélection de créateurs via VideoFX, un nouvel outil disponible sur labs.google. Cette initiative offre un accès anticipé aux capacités avancées de génération vidéo de Veo, permettant aux créateurs d’expérimenter ses fonctionnalités innovantes. La liste d’attente de Veo est actuellement ouverte et invite les créateurs intéressés à s’inscrire pour utiliser les puissants outils de Veo dans leurs projets.
Les autres mises à jour de DeepMind en matière d’IA générative en 2024#
Outre Veo, DeepMind a présenté plusieurs mises à jour de pointe dans le domaine de l’IA générative pour 2024. L’une d’elles est Imagen 3, son modèle texte-image le plus avancé à ce jour. Imagen 3 excelle dans la création d’images photoréalistes et réalistes. Il comprend en profondeur les invites en langage naturel et restitue des détails complexes tout en réduisant les artefacts visuels.
Fig. 7 Une image générée avec Imagen 3.
DeepMind a également développé Lyria, son modèle le plus avancé pour la génération de musique par l’IA. Dans le cadre de cet effort, DeepMind a créé une suite d’outils d’IA musicale appelée Music AI Sandbox. Ces outils permettent aux musiciens et aux producteurs d’explorer de nouvelles possibilités créatives en matière de composition musicale et de transformation sonore.
Fig. 8 Un exemple d’interface utilisateur des outils d’IA musicale de DeepMind.
À l’instar de Veo, DeepMind a également mis en place plusieurs mesures de sécurité pour ses autres mises à jour. SynthID sera utilisé dans l’ensemble de ces mises à jour comme outil de filigranage et d’identification des contenus générés par l’IA. Ces mises à jour de DeepMind promettent de transformer différents secteurs en proposant des outils avancés, efficaces et responsables pour créer des contenus visuels et audio de haute qualité.
Aborder la prochaine phase de l’IA générative#
Les avancées de DeepMind en matière d’IA générative en 2024, notamment Veo, Imagen 3 et Lyria, représentent un bond considérable dans les capacités de l’IA. Veo transforme la création vidéo grâce à sa capacité à générer des vidéos 1080p de haute qualité à partir de simples invites, ce qui en fait un outil polyvalent pour les cinéastes et les créateurs de contenu. Imagen 3 se distingue par sa production d’images photoréalistes, tandis que Lyria ouvre de nouvelles possibilités dans la génération musicale grâce à des outils d’IA avancés.
Ces technologies promettent de transformer différents secteurs en fournissant des outils efficaces et responsables pour créer des contenus visuels et audio de haute qualité. Grâce à des mesures de sécurité comme SynthID, qui garantit une utilisation éthique, DeepMind continue de repousser les limites de l’IA et ouvre la voie à des applications innovantes à l’avenir.
Plonge dans l’IA en visitant notre dépôt GitHub et en rejoignant notre communauté. Explore nos pages consacrées aux solutions pour découvrir comment l’IA est appliquée dans la fabrication et l’agriculture.
