Video Generation
Videogenerierung ist die Erzeugung neuer Videoclips aus Text, Bildern oder vorhandenem Videomaterial durch generative Modelle, die Bewegungen über die Zeit hinweg konsistent halten.
Videogenerierung bezeichnet den Einsatz von Modellen für generative KI, um neue Videos zu erzeugen: eine Folge von Frames, deren Objekte, Beleuchtung und Bewegungen von Frame zu Frame konsistent bleiben. Ein Modell kann mit einer Texteingabeaufforderung, einem zu animierenden Standbild, einem bestehenden Clip zum Umstylen oder Verlängern oder – wie bei Weltmodellen – mit vorherigen Frames und Handlungen beginnen. Im Gegensatz zu einem einzelnen generierten Bild enthält ein fünfsekündiger Clip mit 24 Bildern pro Sekunde 120 Bilder, die miteinander übereinstimmen müssen. Fehler, die in einem Einzelbild unsichtbar wären, etwa eine wechselnde Anzahl von Fingern an einer Hand, werden beim Abspielen der Frames als Flackern oder Verformung sichtbar. Bei der Videoanalyse und Objektverfolgung geht es umgekehrt darum, bereits vorhandenes Bildmaterial zu analysieren.
Innerhalb von weniger als zehn Jahren entwickelte sich das Feld von winzigen zu minutenlangen Clips. Das VGAN von Carl Vondrick, Hamed Pirsiavash und Antonio Torralba aus dem Jahr 2016, ein generatives gegnerisches Netzwerk, erzeugte etwa eine Sekunde Video mit 64×64 Pixeln, indem es einen statischen Hintergrund und einen bewegten Vordergrund getrennt generierte. Jonathan Ho und Kollegen bei Google erweiterten im April 2022 Diffusionsmodelle auf Videos. Metas Make-A-Video und Googles Imagen Video folgten im Herbst desselben Jahres. OpenAI stellte Sora im Februar 2024 vor, das Clips von bis zu einer Minute erzeugte. Modelle mit offenen Gewichten wie HunyuanVideo von Tencent (Dezember 2024) und Wan 2.1 von Alibaba (Februar 2025) machten dieselbe Architektur für die lokale Ausführung und Feinabstimmung verfügbar.
So funktionieren Videogenerierungsmodelle#
Die meisten aktuellen Systeme sind latente Diffusionsmodelle mit drei Komponenten. Ein Video-Autoencoder komprimiert den Clip räumlich und zeitlich zu einem viel kleineren latenten Tensor, da das Entrauschen der Rohpixel von Hunderten Frames viel zu aufwendig wäre. Ein Entrauschungsnetzwerk – heute meist ein Diffusions-Transformer (DiT) – unterteilt diesen latenten Tensor in Raum-Zeit-Patches, die Einheiten, mit denen OpenAI Sora arbeitet, und entfernt schrittweise das Rauschen. Dabei verknüpft die Aufmerksamkeit jedes Patch mit Patches in anderen Frames, damit ein Motiv seine Form bei Bewegung beibehält. Der Decoder des Autoencoders wandelt den bereinigten latenten Tensor anschließend wieder in Frames um.
Frühere Modelle nutzten kostengünstigere Wege, um zeitliche Konsistenz zu erreichen. Viele ergänzten einen vortrainierten Text-zu-Bild-U-Net um zeitliche Aufmerksamkeitslayer, die dieselbe Position über mehrere Frames hinweg vergleichen. So konnte das Netzwerk sein Wissen über das Erscheinungsbild wiederverwenden und musste nur die Bewegung erlernen. Imagen Video verkettete ein Basismodell mit separaten Modellen für räumliche und zeitliche Superauflösung, die Auflösung und Bildrate schrittweise erhöhten. Googles Lumiere (2024) erzeugte den gesamten Clip in einem Durchlauf mit einem Raum-Zeit-U-Net. Das Unternehmen argumentierte, dass Kaskaden, die zunächst weit auseinanderliegende Schlüsselbilder erzeugen, Schwierigkeiten haben, Bewegungen global konsistent zu halten. Lange oder interaktive Videos werden häufig autoregressiv, Abschnitt für Abschnitt, erzeugt. Jeder Abschnitt wird dabei durch die vorherigen Frames bedingt. Methoden wie Diffusion Forcing trainieren für dieses Szenario.
Arten der Videogenerierung#
- Text-zu-Video: Erzeugt einen Clip allein anhand einer Texteingabeaufforderung.
- Bild-zu-Video: Animiert ein Standbild und verwendet es als ersten Frame. Dadurch lassen sich Bildkomposition und Motiv gezielt festlegen.
- Video-zu-Video: Verändert den Stil, bearbeitet oder verlängert einen bestehenden Clip und behält dabei dessen Bewegungen bei. Das ist ein zentrales Werkzeug für die KI-gestützte Videobearbeitung.
- Audio und Video gemeinsam: Veo 3 von Google (Mai 2025) und Sora 2 von OpenAI (September 2025) erzeugen Dialoge, Soundeffekte und Musik synchron zum Bild.
- Weltmodelle: Sagen die nächsten Frames anhand der aktuellen Frames und einer Handlung voraus, etwa eines Lenkbefehls oder einer Bewegung eines Roboterarms. So reagiert das Video auf die Steuerung.
Anwendungen#
Film- und Werbeteams nutzen Generatoren wie Veo von Google DeepMind und Meta Movie Gen für die Vorvisualisierung und für Einstellungen, deren Aufnahme teuer wäre. Das ist Teil des umfassenderen Wandels hin zu KI im Filmbereich. Entwickler von Physical AI erzeugen Videoaufnahmen seltener Ereignisse beim Fahren und in der Robotik: Die im Januar 2025 veröffentlichten Welt-Grundlagenmodelle Cosmos von NVIDIA erstellen Videos zum Training autonomer Fahrzeuge und von Robotern. GAIA-1 von Wayve generiert Fahrszenen anhand von Text und Fahrzeugaktionen. Sobald die Frames beschriftet sind, werden generierte Clips zu synthetischen Daten für Wahrnehmungsmodelle. Ein Datensatz auf der Ultralytics Platform, in den ein generierter Clip importiert wird, erfasst bis zu 100 Frames mit einer Bildrate von 1 Frame pro Sekunde und speichert jedes Frame als annotierungsbereites Bild.
Grenzen und Bewertung#
Generierte Videos verletzen weiterhin die physikalischen Gesetze und lassen Objekte nicht dauerhaft bestehen. OpenAI hat erklärt, dass Sora Wechselwirkungen wie das Zerbrechen von Glas nicht korrekt modelliert. Generierte Objekte können sich durchdringen, aus dem Nichts auftauchen oder hinter einem verdeckenden Objekt verschwinden. Der Rechenaufwand steigt mit der Auflösung und Dauer. Deshalb erzeugen die meisten Modelle Clips von wenigen Sekunden und verlängern sie schrittweise. Die Bewertung hat sich von einem einzelnen Verteilungsmaß, der Fréchet Video Distance – dem Video-Pendant der Fréchet Inception Distance (FID) – hin zu Testreihen wie VBench entwickelt. VBench bewertet 16 Dimensionen, von der Konsistenz der Motive bis zur Übereinstimmung mit der Eingabeaufforderung. Realistische Ausgaben ermöglichen auch Deepfakes. Daher versehen Anbieter generierte Videos mit KI-Wasserzeichen und Content Credentials: Google bettet in jedes Veo-Video ein unsichtbares SynthID-Wasserzeichen ein.










