Licence YOLO
Retour au glossaire Ultralytics

Video Generation

La génération vidéo consiste à synthétiser de nouveaux clips vidéo à partir de texte, d’images ou de séquences existantes, au moyen de modèles génératifs qui préservent la cohérence du mouvement dans le temps.

La génération vidéo utilise des modèles d’IA générative pour synthétiser de nouvelles vidéos : des séquences d’images dont les objets, l’éclairage et les mouvements restent cohérents d’une image à l’autre. Un modèle peut partir d’une invite textuelle, d’une image fixe à animer, d’un clip existant à restyler ou à prolonger, ou d’images antérieures associées à des actions, comme dans les modèles du monde. Contrairement à une image générée, un clip de cinq secondes à 24 images par seconde contient 120 images qui doivent être cohérentes entre elles. Des erreurs invisibles dans une seule image, comme une main dont le nombre de doigts change, apparaissent sous forme de scintillement ou de morphing lorsque les images défilent. La compréhension vidéo et le suivi d’objets fonctionnent dans l’autre sens : ils analysent des séquences déjà existantes.

Le domaine est passé de clips minuscules à des séquences d’une minute en moins d’une décennie. En 2016, le VGAN de Carl Vondrick, Hamed Pirsiavash et Antonio Torralba, un réseau antagoniste génératif, produisait environ une seconde de vidéo 64×64 en générant séparément un arrière-plan statique et un premier plan mobile. En avril 2022, Jonathan Ho et ses collègues de Google ont étendu les modèles de diffusion à la vidéo. Make-A-Video de Meta et Imagen Video de Google ont suivi à l’automne, puis Sora d’OpenAI, présenté en février 2024, a généré des clips d’une minute. Des modèles à poids ouverts tels que HunyuanVideo de Tencent (décembre 2024) et Wan 2.1 d’Alibaba (février 2025) ont rendu cette même architecture disponible pour une exécution et un ajustement fin locaux.

Fonctionnement des modèles de génération vidéo#

La plupart des systèmes actuels sont des modèles de diffusion latente composés de trois éléments. Un autoencodeur vidéo compresse le clip dans l’espace et le temps en un tenseur latent bien plus petit, car débruiter les pixels bruts de centaines d’images serait beaucoup trop coûteux. Un réseau de débruitage, aujourd’hui généralement un Transformer de diffusion (DiT), découpe ce latent en patchs spatio-temporels, les unités exploitées par Sora d’OpenAI, puis élimine le bruit étape par étape. L’attention relie chaque patch aux patchs des autres images afin que le sujet conserve sa forme lorsqu’il se déplace. Le décodeur de l’autoencodeur transforme ensuite le latent débruité en images.

Les premiers modèles adoptaient des méthodes moins coûteuses pour assurer la cohérence temporelle. Beaucoup ajoutaient des couches d’attention temporelle, qui comparent la même position d’une image à l’autre, à un U-Net texte-image préentraîné. Le réseau réutilisait ainsi ses connaissances sur l’apparence et n’apprenait que le mouvement. Imagen Video enchaînait un modèle de base avec des modèles distincts de super-résolution spatiale et temporelle, qui augmentaient progressivement la résolution et la fréquence d’images. Lumiere de Google (2024) générait le clip entier en une seule passe avec un U-Net spatio-temporel, estimant que les cascades générant d’abord des images clés éloignées peinent à conserver une cohérence globale du mouvement. Les vidéos longues ou interactives sont souvent générées de façon autorégressive, segment par segment, chaque segment étant conditionné par les images précédentes ; des méthodes comme le forçage de diffusion sont conçues pour cet entraînement.

Types de génération vidéo#

  • Texte-vers-vidéo : Génère un clip à partir d’une simple invite écrite.
  • Image-vers-vidéo : Anime une image fixe en la conservant comme première image, ce qui permet de contrôler la composition et le sujet.
  • Vidéo-vers-vidéo : Restyle, modifie ou prolonge un clip existant tout en conservant son mouvement ; c’est un outil essentiel du montage vidéo par IA.
  • Audio et vidéo combinés : Veo 3 de Google (mai 2025) et Sora 2 d’OpenAI (septembre 2025) génèrent des dialogues, des effets sonores et de la musique synchronisés avec l’image.
  • Modèles du monde : Prédisent les images suivantes à partir des images actuelles et d’une action, comme une commande de direction ou un mouvement de bras robotisé, afin que la vidéo réagisse au contrôle.

Applications#

Les équipes de cinéma et de publicité utilisent des générateurs comme Veo de Google DeepMind et Movie Gen de Meta pour la prévisualisation et les plans trop coûteux à filmer, dans le cadre d’une évolution plus large vers l’IA dans le cinéma. Les développeurs d’IA physique génèrent des séquences de conduite et de robotique mettant en scène des événements rares : les modèles de fondation du monde Cosmos de NVIDIA, lancés en janvier 2025, produisent des vidéos pour entraîner des véhicules autonomes et des robots, tandis que GAIA-1 de Wayve génère des scènes de conduite conditionnées par du texte et les actions du véhicule. Les clips générés deviennent des données synthétiques pour les modèles de perception une fois leurs images annotées. Lorsqu’un clip généré est importé dans un jeu de données de l’Ultralytics Platform, la plateforme en échantillonne les images à raison d’une par seconde, jusqu’à 100 images, et stocke chaque image sous forme de fichier prêt à être annoté.

Limites et évaluation#

Les vidéos générées ne respectent toujours pas les lois physiques ni la permanence des objets. OpenAI a indiqué que Sora ne modélise pas avec précision des interactions comme le bris de verre, et que les objets générés peuvent se traverser, apparaître de nulle part ou disparaître derrière un objet occultant. Le coût de calcul augmente avec la résolution et la durée, ce qui explique pourquoi la plupart des modèles génèrent des clips de quelques secondes qu’ils prolongent par étapes. L’évaluation est passée d’un score de distribution unique, la distance vidéo de Fréchet, équivalent vidéo de la distance de Fréchet-Inception (FID), à des batteries de tests comme VBench, qui évaluent 16 dimensions, de la cohérence du sujet à la fidélité à l’invite. Les sorties réalistes permettent aussi de créer des hypertrucages ; les fournisseurs marquent donc les vidéos générées avec des filigranes IA et des Content Credentials : Google intègre un filigrane SynthID invisible dans chaque vidéo Veo.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique