YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Video Generation

Videogenerierung ist die Erzeugung neuer Videoclips aus Text, Bildern oder vorhandenem Videomaterial durch generative Modelle, die Bewegungen über die Zeit hinweg konsistent halten.

Videogenerierung bezeichnet den Einsatz von Modellen für generative KI, um neue Videos zu erzeugen: eine Folge von Frames, deren Objekte, Beleuchtung und Bewegungen von Frame zu Frame konsistent bleiben. Ein Modell kann mit einer Texteingabeaufforderung, einem zu animierenden Standbild, einem bestehenden Clip zum Umstylen oder Verlängern oder – wie bei Weltmodellen – mit vorherigen Frames und Handlungen beginnen. Im Gegensatz zu einem einzelnen generierten Bild enthält ein fünfsekündiger Clip mit 24 Bildern pro Sekunde 120 Bilder, die miteinander übereinstimmen müssen. Fehler, die in einem Einzelbild unsichtbar wären, etwa eine wechselnde Anzahl von Fingern an einer Hand, werden beim Abspielen der Frames als Flackern oder Verformung sichtbar. Bei der Videoanalyse und Objektverfolgung geht es umgekehrt darum, bereits vorhandenes Bildmaterial zu analysieren.

Innerhalb von weniger als zehn Jahren entwickelte sich das Feld von winzigen zu minutenlangen Clips. Das VGAN von Carl Vondrick, Hamed Pirsiavash und Antonio Torralba aus dem Jahr 2016, ein generatives gegnerisches Netzwerk, erzeugte etwa eine Sekunde Video mit 64×64 Pixeln, indem es einen statischen Hintergrund und einen bewegten Vordergrund getrennt generierte. Jonathan Ho und Kollegen bei Google erweiterten im April 2022 Diffusionsmodelle auf Videos. Metas Make-A-Video und Googles Imagen Video folgten im Herbst desselben Jahres. OpenAI stellte Sora im Februar 2024 vor, das Clips von bis zu einer Minute erzeugte. Modelle mit offenen Gewichten wie HunyuanVideo von Tencent (Dezember 2024) und Wan 2.1 von Alibaba (Februar 2025) machten dieselbe Architektur für die lokale Ausführung und Feinabstimmung verfügbar.

So funktionieren Videogenerierungsmodelle#

Die meisten aktuellen Systeme sind latente Diffusionsmodelle mit drei Komponenten. Ein Video-Autoencoder komprimiert den Clip räumlich und zeitlich zu einem viel kleineren latenten Tensor, da das Entrauschen der Rohpixel von Hunderten Frames viel zu aufwendig wäre. Ein Entrauschungsnetzwerk – heute meist ein Diffusions-Transformer (DiT) – unterteilt diesen latenten Tensor in Raum-Zeit-Patches, die Einheiten, mit denen OpenAI Sora arbeitet, und entfernt schrittweise das Rauschen. Dabei verknüpft die Aufmerksamkeit jedes Patch mit Patches in anderen Frames, damit ein Motiv seine Form bei Bewegung beibehält. Der Decoder des Autoencoders wandelt den bereinigten latenten Tensor anschließend wieder in Frames um.

Frühere Modelle nutzten kostengünstigere Wege, um zeitliche Konsistenz zu erreichen. Viele ergänzten einen vortrainierten Text-zu-Bild-U-Net um zeitliche Aufmerksamkeitslayer, die dieselbe Position über mehrere Frames hinweg vergleichen. So konnte das Netzwerk sein Wissen über das Erscheinungsbild wiederverwenden und musste nur die Bewegung erlernen. Imagen Video verkettete ein Basismodell mit separaten Modellen für räumliche und zeitliche Superauflösung, die Auflösung und Bildrate schrittweise erhöhten. Googles Lumiere (2024) erzeugte den gesamten Clip in einem Durchlauf mit einem Raum-Zeit-U-Net. Das Unternehmen argumentierte, dass Kaskaden, die zunächst weit auseinanderliegende Schlüsselbilder erzeugen, Schwierigkeiten haben, Bewegungen global konsistent zu halten. Lange oder interaktive Videos werden häufig autoregressiv, Abschnitt für Abschnitt, erzeugt. Jeder Abschnitt wird dabei durch die vorherigen Frames bedingt. Methoden wie Diffusion Forcing trainieren für dieses Szenario.

Arten der Videogenerierung#

  • Text-zu-Video: Erzeugt einen Clip allein anhand einer Texteingabeaufforderung.
  • Bild-zu-Video: Animiert ein Standbild und verwendet es als ersten Frame. Dadurch lassen sich Bildkomposition und Motiv gezielt festlegen.
  • Video-zu-Video: Verändert den Stil, bearbeitet oder verlängert einen bestehenden Clip und behält dabei dessen Bewegungen bei. Das ist ein zentrales Werkzeug für die KI-gestützte Videobearbeitung.
  • Audio und Video gemeinsam: Veo 3 von Google (Mai 2025) und Sora 2 von OpenAI (September 2025) erzeugen Dialoge, Soundeffekte und Musik synchron zum Bild.
  • Weltmodelle: Sagen die nächsten Frames anhand der aktuellen Frames und einer Handlung voraus, etwa eines Lenkbefehls oder einer Bewegung eines Roboterarms. So reagiert das Video auf die Steuerung.

Anwendungen#

Film- und Werbeteams nutzen Generatoren wie Veo von Google DeepMind und Meta Movie Gen für die Vorvisualisierung und für Einstellungen, deren Aufnahme teuer wäre. Das ist Teil des umfassenderen Wandels hin zu KI im Filmbereich. Entwickler von Physical AI erzeugen Videoaufnahmen seltener Ereignisse beim Fahren und in der Robotik: Die im Januar 2025 veröffentlichten Welt-Grundlagenmodelle Cosmos von NVIDIA erstellen Videos zum Training autonomer Fahrzeuge und von Robotern. GAIA-1 von Wayve generiert Fahrszenen anhand von Text und Fahrzeugaktionen. Sobald die Frames beschriftet sind, werden generierte Clips zu synthetischen Daten für Wahrnehmungsmodelle. Ein Datensatz auf der Ultralytics Platform, in den ein generierter Clip importiert wird, erfasst bis zu 100 Frames mit einer Bildrate von 1 Frame pro Sekunde und speichert jedes Frame als annotierungsbereites Bild.

Grenzen und Bewertung#

Generierte Videos verletzen weiterhin die physikalischen Gesetze und lassen Objekte nicht dauerhaft bestehen. OpenAI hat erklärt, dass Sora Wechselwirkungen wie das Zerbrechen von Glas nicht korrekt modelliert. Generierte Objekte können sich durchdringen, aus dem Nichts auftauchen oder hinter einem verdeckenden Objekt verschwinden. Der Rechenaufwand steigt mit der Auflösung und Dauer. Deshalb erzeugen die meisten Modelle Clips von wenigen Sekunden und verlängern sie schrittweise. Die Bewertung hat sich von einem einzelnen Verteilungsmaß, der Fréchet Video Distance – dem Video-Pendant der Fréchet Inception Distance (FID) – hin zu Testreihen wie VBench entwickelt. VBench bewertet 16 Dimensionen, von der Konsistenz der Motive bis zur Übereinstimmung mit der Eingabeaufforderung. Realistische Ausgaben ermöglichen auch Deepfakes. Daher versehen Anbieter generierte Videos mit KI-Wasserzeichen und Content Credentials: Google bettet in jedes Veo-Video ein unsichtbares SynthID-Wasserzeichen ein.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens