Video Generation
La génération vidéo consiste à synthétiser de nouveaux clips vidéo à partir de texte, d’images ou de séquences existantes, au moyen de modèles génératifs qui préservent la cohérence du mouvement dans le temps.
La génération vidéo utilise des modèles d’IA générative pour synthétiser de nouvelles vidéos : des séquences d’images dont les objets, l’éclairage et les mouvements restent cohérents d’une image à l’autre. Un modèle peut partir d’une invite textuelle, d’une image fixe à animer, d’un clip existant à restyler ou à prolonger, ou d’images antérieures associées à des actions, comme dans les modèles du monde. Contrairement à une image générée, un clip de cinq secondes à 24 images par seconde contient 120 images qui doivent être cohérentes entre elles. Des erreurs invisibles dans une seule image, comme une main dont le nombre de doigts change, apparaissent sous forme de scintillement ou de morphing lorsque les images défilent. La compréhension vidéo et le suivi d’objets fonctionnent dans l’autre sens : ils analysent des séquences déjà existantes.
Le domaine est passé de clips minuscules à des séquences d’une minute en moins d’une décennie. En 2016, le VGAN de Carl Vondrick, Hamed Pirsiavash et Antonio Torralba, un réseau antagoniste génératif, produisait environ une seconde de vidéo 64×64 en générant séparément un arrière-plan statique et un premier plan mobile. En avril 2022, Jonathan Ho et ses collègues de Google ont étendu les modèles de diffusion à la vidéo. Make-A-Video de Meta et Imagen Video de Google ont suivi à l’automne, puis Sora d’OpenAI, présenté en février 2024, a généré des clips d’une minute. Des modèles à poids ouverts tels que HunyuanVideo de Tencent (décembre 2024) et Wan 2.1 d’Alibaba (février 2025) ont rendu cette même architecture disponible pour une exécution et un ajustement fin locaux.
Fonctionnement des modèles de génération vidéo#
La plupart des systèmes actuels sont des modèles de diffusion latente composés de trois éléments. Un autoencodeur vidéo compresse le clip dans l’espace et le temps en un tenseur latent bien plus petit, car débruiter les pixels bruts de centaines d’images serait beaucoup trop coûteux. Un réseau de débruitage, aujourd’hui généralement un Transformer de diffusion (DiT), découpe ce latent en patchs spatio-temporels, les unités exploitées par Sora d’OpenAI, puis élimine le bruit étape par étape. L’attention relie chaque patch aux patchs des autres images afin que le sujet conserve sa forme lorsqu’il se déplace. Le décodeur de l’autoencodeur transforme ensuite le latent débruité en images.
Les premiers modèles adoptaient des méthodes moins coûteuses pour assurer la cohérence temporelle. Beaucoup ajoutaient des couches d’attention temporelle, qui comparent la même position d’une image à l’autre, à un U-Net texte-image préentraîné. Le réseau réutilisait ainsi ses connaissances sur l’apparence et n’apprenait que le mouvement. Imagen Video enchaînait un modèle de base avec des modèles distincts de super-résolution spatiale et temporelle, qui augmentaient progressivement la résolution et la fréquence d’images. Lumiere de Google (2024) générait le clip entier en une seule passe avec un U-Net spatio-temporel, estimant que les cascades générant d’abord des images clés éloignées peinent à conserver une cohérence globale du mouvement. Les vidéos longues ou interactives sont souvent générées de façon autorégressive, segment par segment, chaque segment étant conditionné par les images précédentes ; des méthodes comme le forçage de diffusion sont conçues pour cet entraînement.
Types de génération vidéo#
- Texte-vers-vidéo : Génère un clip à partir d’une simple invite écrite.
- Image-vers-vidéo : Anime une image fixe en la conservant comme première image, ce qui permet de contrôler la composition et le sujet.
- Vidéo-vers-vidéo : Restyle, modifie ou prolonge un clip existant tout en conservant son mouvement ; c’est un outil essentiel du montage vidéo par IA.
- Audio et vidéo combinés : Veo 3 de Google (mai 2025) et Sora 2 d’OpenAI (septembre 2025) génèrent des dialogues, des effets sonores et de la musique synchronisés avec l’image.
- Modèles du monde : Prédisent les images suivantes à partir des images actuelles et d’une action, comme une commande de direction ou un mouvement de bras robotisé, afin que la vidéo réagisse au contrôle.
Applications#
Les équipes de cinéma et de publicité utilisent des générateurs comme Veo de Google DeepMind et Movie Gen de Meta pour la prévisualisation et les plans trop coûteux à filmer, dans le cadre d’une évolution plus large vers l’IA dans le cinéma. Les développeurs d’IA physique génèrent des séquences de conduite et de robotique mettant en scène des événements rares : les modèles de fondation du monde Cosmos de NVIDIA, lancés en janvier 2025, produisent des vidéos pour entraîner des véhicules autonomes et des robots, tandis que GAIA-1 de Wayve génère des scènes de conduite conditionnées par du texte et les actions du véhicule. Les clips générés deviennent des données synthétiques pour les modèles de perception une fois leurs images annotées. Lorsqu’un clip généré est importé dans un jeu de données de l’Ultralytics Platform, la plateforme en échantillonne les images à raison d’une par seconde, jusqu’à 100 images, et stocke chaque image sous forme de fichier prêt à être annoté.
Limites et évaluation#
Les vidéos générées ne respectent toujours pas les lois physiques ni la permanence des objets. OpenAI a indiqué que Sora ne modélise pas avec précision des interactions comme le bris de verre, et que les objets générés peuvent se traverser, apparaître de nulle part ou disparaître derrière un objet occultant. Le coût de calcul augmente avec la résolution et la durée, ce qui explique pourquoi la plupart des modèles génèrent des clips de quelques secondes qu’ils prolongent par étapes. L’évaluation est passée d’un score de distribution unique, la distance vidéo de Fréchet, équivalent vidéo de la distance de Fréchet-Inception (FID), à des batteries de tests comme VBench, qui évaluent 16 dimensions, de la cohérence du sujet à la fidélité à l’invite. Les sorties réalistes permettent aussi de créer des hypertrucages ; les fournisseurs marquent donc les vidéos générées avec des filigranes IA et des Content Credentials : Google intègre un filigrane SynthID invisible dans chaque vidéo Veo.










