Text-to-Video

Text-zu-Video bezeichnet die Erzeugung eines Videoclips aus einer Eingabeaufforderung in natürlicher Sprache, zum Beispiel: „Ein roter Fuchs trabt im Morgengrauen durch frischen Schnee, eine niedrige Kamerafahrt folgt ihm.“ Es ist der Zweig der Videogenerierung, bei dem Text die einzige erforderliche Eingabe ist, und erweitert die Text-zu-Bild-Generierung um eine Zeitachse: Das Modell muss die im Prompt genannten Objekte, den Stil und die Kameraführung darstellen und außerdem Bewegungen erfinden, die der Prompt nur andeutet, etwa die Beinbewegung eines trabenden Fuchses. Zu den frühen Forschungsmodellen von 2022 gehörten CogVideo von der Tsinghua-Universität, ein Transformer mit 9,4 Milliarden Parametern, und Make-A-Video von Meta. Dieses Modell lernte anhand von Text-Bild-Paaren, wie Dinge aussehen, und anhand unbeschrifteter Videos, wie sie sich bewegen. Es benötigte daher keine gepaarten Text-Video-Daten. Sora von OpenAI, im Februar 2024 vorgestellt, erzeugte bis zu eine Minute lange Clips in hoher Auflösung. Im Oktober 2024 folgte Meta Movie Gen, und die Veo-Familie von Google DeepMind erreichte im Mai 2025 Veo 3. Wie Sora 2 von OpenAI erzeugt Veo 3 synchronisierte Dialoge und Geräusche zum Bild.

Wie Text ein Videomodell steuert#

Ein eingefrorenes Sprachmodell, etwa ein T5-Encoder, wandelt den Prompt in eine Folge von Token-Einbettungen um. Das Videomodell, üblicherweise ein Diffusionstransformer, der mit einem komprimierten latenten Video arbeitet, liest diese Einbettungen bei jedem Entrauschungsschritt über Cross-Attention ein. So kann jeder Raum-Zeit-Ausschnitt des Clips auf die Wörter achten, die ihn beschreiben. Die Generierung beginnt mit zufälligem Rauschen, das Schritt für Schritt entfernt wird – wie bei anderen Diffusionsmodellen –, bis ein Decoder das bereinigte latente Video in Einzelbilder umwandelt.

Wie genau das Modell dem Prompt folgt, wird mit Classifier-Free Guidance eingestellt, die Jonathan Ho und Tim Salimans 2022 einführten. Beim Training wird der Prompt bei einem Teil der Beispiele weggelassen, sodass ein Netzwerk sowohl bedingte als auch unbedingte Vorhersagen lernt. Bei jedem Sampling-Schritt berechnet das Modell beide Vorhersagen und verschiebt das Ergebnis entsprechend einer Guidance-Skala von der unbedingten Vorhersage weg. Höhere Skalen folgen dem Prompt wörtlicher, gehen aber zulasten der Vielfalt und natürlicher Farben.

Der Text, anhand dessen ein Modell lernt, ist genauso wichtig wie seine Architektur. Die meisten Trainingsvideos haben keine oder nur eine kurze, ungenaue Beschreibung. OpenAI versah Soras Trainingsclips daher mithilfe eines speziellen Bildbeschreibungsmodells, das ausführliche Beschreibungen verfasst, erneut mit Bildunterschriften. Außerdem verwendet OpenAI GPT, um kurze Prompts von Nutzern bei der Generierung in denselben ausführlichen Stil zu erweitern. Diese Anreicherung von Prompts schließt die Lücke zwischen der Art, wie Menschen Prompts schreiben, und den Bildunterschriften, mit denen das Modell trainiert wurde.

Anwendungsbereiche#

• Filmvorvisualisierung: Regisseure und Spieleentwickler machen aus einer geschriebenen Szene einen groben Clip, um vor dem Dreh Kamerawinkel, Beleuchtung und Tempo zu testen.
• Marketing und Werbung: Marken erzeugen aus einem Skript Produktaufnahmen und Social-Media-Clips in vielen Varianten.
• Bildung und Erklärformate: Lehrkräfte und Verlage veranschaulichen schwer zu filmende Abläufe, etwa historische Szenen oder die Zellteilung.
• Synthetische Daten: Prompts, die seltene Ereignisse wie einen nachts eine Autobahn überquerenden Hirsch beschreiben, erzeugen Aufnahmen zum Trainieren von Wahrnehmungsmodellen, sobald die Einzelbilder beschriftet sind.

Fehlerarten und Bewertung#

Fehler treten bei Text-zu-Video-Modellen am häufigsten in den Teilen eines Prompts auf, die eine präzise Zuordnung erfordern. Die Anzahl stimmt nicht (aus „drei Hunden“ werden zwei oder vier), Merkmale werden zwischen Objekten vertauscht („ein rotes Auto neben einem blauen Lkw“), räumliche Beziehungen werden umgekehrt und Schrift im Bild ist unleserlich. Im Lauf der Zeit verwandeln sich Objekte in andere Formen, tauchen aus dem Nichts auf oder verschwinden hinter Verdeckungen; auch physikalische Wechselwirkungen sind fehlerhaft. OpenAI hat erklärt, dass Sora das Zerspringen von Glas nicht korrekt modelliert. Solche Fehler sind eine Form der Halluzination in Videos.

VBench bewertet diese Fehler getrennt anhand verschiedener Dimensionen: Objektklasse, mehrere Objekte, Farbe, räumliche Beziehung, menschliche Handlung und Konsistenz von Objekten. Die Familie der Verteilungskennzahlen um den Fréchet-Inception-Abstand (FID) misst den Gesamtrealismus. Objekterkennung ist das wichtigste Verfahren zur Inhaltsprüfung: Wird YOLO26 im Tracking-Modus auf einen generierten Clip angewendet, erhält jedes erkannte Objekt eine dauerhafte ID. Enthält ein Clip, für den zwei Hunde vorgegeben waren, am Ende fünf Hunde-IDs, sind Objekte verschwunden und wieder aufgetaucht oder haben sich mitten in der Aufnahme verändert.

Da generierte Clips reale Menschen bei Dingen zeigen können, die sie nie getan haben, wirft Text-zu-Video dieselben Bedenken wie Deepfakes und die Ethik der KI im Allgemeinen auf. Anbieter blockieren Prompts mit Namen von Personen des öffentlichen Lebens, fügen sichtbare Wasserzeichen und Signale zur Kennzeichnung von KI-Inhalten hinzu und hängen Content Credentials an. Sora-2-Videos von OpenAI enthalten sowohl ein sichtbares, bewegliches Wasserzeichen als auch C2PA-Metadaten.