Text-to-Video

La génération de vidéo à partir de texte consiste à produire un extrait vidéo à partir d’une invite en langage naturel, par exemple « un renard roux trottant dans la neige fraîche à l’aube, filmé en travelling bas ». C’est la branche de la génération vidéo dont le seul élément d’entrée requis est le texte ; elle étend la génération texte-image en ajoutant une dimension temporelle : le modèle doit rendre les objets, le style et les mouvements de caméra indiqués par l’invite, mais aussi inventer les mouvements seulement suggérés, comme les mouvements des pattes d’un renard au trot. Parmi les premiers modèles de recherche de 2022 figuraient CogVideo, de l’université Tsinghua, un Transformer de 9,4 milliards de paramètres, et Make-A-Video, de Meta, qui a appris l’apparence des choses à partir de paires texte-image et leurs mouvements à partir de vidéos non annotées ; aucune paire texte-vidéo ne lui était donc nécessaire. Présenté en avant-première en février 2024, Sora d’OpenAI a produit des extraits haute résolution d’une minute ; Meta Movie Gen a suivi en octobre 2024, puis la famille Veo de Google DeepMind a atteint Veo 3 en mai 2025. Comme Sora 2 d’OpenAI, Veo 3 génère des dialogues et des sons synchronisés avec l’image.

Comment le texte conditionne un modèle vidéo#

Un modèle de langage figé, tel qu’un encodeur T5, transforme l’invite en une séquence de plongements de jetons. Le modèle vidéo, généralement un Transformer de diffusion qui travaille sur une vidéo latente compressée, exploite ces plongements au moyen de l’attention croisée à chaque étape de débruitage ; chaque portion spatio-temporelle de l’extrait peut ainsi se concentrer sur les mots qui la décrivent. La génération commence par du bruit aléatoire qu’elle élimine étape par étape, comme dans les autres modèles de diffusion, jusqu’à ce qu’un décodeur transforme la représentation latente épurée en images.

Le respect de l’invite est ajusté au moyen du guidage sans classificateur, introduit par Jonathan Ho et Tim Salimans en 2022. Pendant l’entraînement, l’invite est retirée pour une fraction des exemples : un même réseau apprend ainsi les prédictions conditionnelles et inconditionnelles. À chaque étape d’échantillonnage, le modèle calcule les deux prédictions et éloigne le résultat de la prédiction inconditionnelle en appliquant un facteur de guidage. Des facteurs plus élevés suivent l’invite de manière plus littérale, au prix de la variété et du naturel des couleurs.

Le texte à partir duquel un modèle apprend compte autant que son architecture. La plupart des vidéos d’entraînement ne sont accompagnées d’aucune description ou d’une description brève et bruitée. OpenAI a donc de nouveau généré les légendes des extraits d’entraînement de Sora au moyen d’un modèle de légendage dédié, qui rédige des descriptions détaillées, et utilise GPT pour étoffer les courtes invites des utilisateurs dans le même style détaillé au moment de la génération. Cet enrichissement des invites réduit l’écart entre la manière dont les gens rédigent leurs invites et les légendes utilisées pour entraîner le modèle.

Utilisations#

• Prévisualisation de films : les réalisateurs et les concepteurs de jeux transforment une scène écrite en un extrait sommaire afin de tester les angles de caméra, l’éclairage et le rythme avant le tournage.
• Marketing et publicité : les marques génèrent, à partir d’un même script, des photos de produits et des extraits pour les réseaux sociaux en de nombreuses variantes.
• Éducation et vidéos explicatives : les enseignants et les éditeurs illustrent des processus difficiles à filmer, comme des scènes historiques ou la division cellulaire.
• Données synthétiques : des invites décrivant des événements rares, comme un cerf traversant une autoroute de nuit, produisent des séquences qui peuvent servir à entraîner des modèles de perception une fois les images annotées.

Modes d’échec et évaluation#

Les modèles de génération de vidéo à partir de texte échouent le plus souvent sur les éléments d’une invite qui exigent des associations précises. Le nombre d’objets dérive (« trois chiens » devient deux ou quatre), les attributs s’échangent entre les objets (« une voiture rouge à côté d’un camion bleu »), les relations spatiales s’inversent et le texte écrit dans la scène devient illisible. Au fil du temps, les sujets se transforment en d’autres formes, apparaissent de nulle part ou disparaissent derrière des objets qui les occultent, et les interactions physiques ne fonctionnent plus : OpenAI a indiqué que Sora ne modélise pas correctement le verre qui se brise. Ces erreurs constituent une forme vidéo d’hallucination.

VBench évalue séparément ces défaillances selon plusieurs dimensions : la classe d’objet, la présence de plusieurs objets, la couleur, les relations spatiales, les actions humaines et la cohérence des sujets ; la famille de métriques de distribution associée à la distance de Fréchet-Inception (FID) mesure le réalisme global. La détection d’objets est l’outil de référence pour les vérifications de contenu : exécuter YOLO26 en mode de suivi sur un clip généré attribue un ID persistant à chaque objet détecté ; ainsi, si un clip généré à partir d’une consigne demandant deux chiens cumule cinq IDs correspondant à des chiens, cela signifie que certains sujets ont disparu puis réapparu ou ont changé de forme au cours du plan.

Comme les extraits générés peuvent montrer des personnes réelles en train de faire des choses qu’elles n’ont jamais faites, la génération de vidéo à partir de texte soulève les mêmes préoccupations que les hypertrucages et l’éthique de l’IA au sens large. Les fournisseurs bloquent les invites mentionnant des personnalités publiques, ajoutent des filigranes visibles et des signaux de filigrane d’IA, et joignent des Content Credentials ; les vidéos Sora 2 d’OpenAI comportent à la fois un filigrane animé visible et des métadonnées C2PA.