Videos mit Veo von Google DeepMind erstellen

Bei der Präsentation von Google I/O 2024 am 14. Mai stellten sie die neuesten Updates von DeepMind vor, ihrer KI-Abteilung. Eine der wichtigsten Ankündigungen war Veo, ein neues generatives Videomodell. Veo kann anhand von Text-, Bild- und Videoaufforderungen hochwertige Videos in 1080p erstellen. Mit nachfolgenden Aufforderungen kannst du sogar die generierten Videos bearbeiten. Sehen wir uns die Funktionen von Veo genauer an.

Die Fähigkeiten von Veo verstehen#

Veo ist ein generatives Videomodell, das Sprache und Bildmaterial tiefgehend versteht, um Videos zu erstellen, die der kreativen Vorstellung der Nutzerinnen und Nutzer sehr nahekommen. Das Modell kann den Ton und die Details längerer Prompts präzise erfassen und ist damit ein leistungsstarkes Werkzeug für Kreative, die ihre Ideen in genau passende Videoinhalte umsetzen möchten.

Nutzerinnen und Nutzer können die generierten Videos kreativ sehr genau steuern, weil Veo Filmtechniken wie „Zeitraffer“ und „Luftaufnahmen einer Landschaft“ versteht. Diese kreative Kontrolle ermöglicht es, Videos zu erstellen, in denen sich Menschen, Tiere und Gegenstände natürlich bewegen. Die von Veo erzeugten Videos sind ansprechend und visuell überzeugend, weil sich nur schwer erkennen lässt, dass sie von einem KI-Modell generiert wurden.

Veo kann mehr, als nur Videos anhand von Aufforderungen zu erstellen. Wenn du ein zuvor generiertes Video und einen konkreten Änderungswunsch vorgibst – etwa Kajaks in eine Luftaufnahme einer Küste einzufügen –, kann Veo die Änderung in das Originalvideo integrieren und eine aktualisierte Version erstellen.

Abb. 1 Ein Beispiel für Videobearbeitung mit Veo.

Hier sind einige weitere Funktionen von Veo:

• Bearbeitung maskierter Bereiche: Veo kann dich dabei unterstützen, festgelegte Bereiche eines Videos zu bearbeiten.
• Von Bildern inspirierte Videoerstellung: Anhand eines Bildes und eines Text-Prompts kann Veo Videos erzeugen, die den Stil des Bildes aufgreifen und den Anweisungen des Prompts folgen.
• Verlängerte Videoclips: Veo kann Videoclips erstellen und auf 60 Sekunden oder länger verlängern – entweder anhand eines einzelnen Prompts oder einer Abfolge von Prompts, die gemeinsam eine Geschichte erzählen.

Atemberaubende Videos, die Veo generiert hat#

Sehen wir uns einige der von Veo generierten Videos an und schauen wir, was sie besonders macht.

Ein Zeitraffervideo anhand einer kurzen Textaufforderung zu erstellen, ist anspruchsvoll. Eine kurze Textaufforderung kann die Veränderungen und Bewegungen in einer Zeitrafferszene normalerweise nicht genau vermitteln. Deshalb ist es bemerkenswert, dass Veo versteht, was bei einem Zeitraffer zu erwarten ist, ohne dass Details angegeben werden müssen.

Abb. 2 Ein Einzelbild aus dem von Veo generierten Zeitraffervideo.

Ebenso ist es nicht einfach, Videos mit präziser Physik zu erzeugen. Das KI-Modell muss physikalische Gesetze wie Schwerkraft, Impuls und Zusammenstöße verstehen und simulieren, damit Bewegungen und Interaktionen realistisch wirken. Es ist beeindruckend, dass Veo diese Dynamik auch ohne detaillierte Anweisungen in den Text-Prompts präzise modellieren kann.

Abb. 3 Ein Einzelbild aus einem mit Veo generierten Video zeigt die Bewegungsphysik einer Qualle präzise.

Bislang haben wir aufgrund von Rechenbeschränkungen und der Schwierigkeit, bei längeren Sequenzen die Kohärenz zu wahren, nur kürzere KI-generierte Videos gesehen. Bei der Präsentation von Google I/O 2024 wurde gezeigt, dass Veo auch längere und komplexere Videos erstellen kann.

Abb. 4 Einzelbilder aus dem längeren Veo-Video, das bei der Präsentation von Google I/O 2024 gezeigt wurde.

Wie funktioniert Veo?#

Wie viele andere KI-Modelle profitiert Veo von den Errungenschaften anderer. Es baut auf früheren Fortschritten wie Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet und Lumiere sowie Googles Transformer-Architektur und Gemini auf. Um Veos Fähigkeit zu verbessern, Eingabeaufforderungen genau zu interpretieren, wurden außerdem die Beschreibungen der Videos im Trainingsdatensatz ausführlicher gestaltet.

Laut dem groben Modellablauf, den Google vorgestellt hat, funktioniert Veo folgendermaßen:

• Eingabe-Prompts: Du gibst einen Text-Prompt und optional einen Bild-Prompt ein.
• Kodierung: Der Text-Prompt wird von einem UL2 Encoder verarbeitet, der Bild-Prompt von einem Bild-Encoder.
• Eingebetteter Prompt: Die Ausgaben der Text- und Bild-Encoder werden zu einem einzigen eingebetteten Prompt zusammengeführt.
• Latent-Diffusionsmodell: Der eingebettete Prompt und ein verrauschtes, komprimiertes Video werden diesem Modell zugeführt, das daraus ein komprimiertes Video erzeugt. Veo verwendet hochwertige, komprimierte Videorepräsentationen, sogenannte Latents, um die Effizienz zu steigern und zugleich die Qualität zu bewahren.
• Dekodierung: Im letzten Schritt wird aus dem komprimierten Video die endgültige 1080p-Videoausgabe dekodiert.

Abb. 5 So funktioniert Veo.

Eine überzeugende Fallstudie zum Filmemachen#

Um Veos Fähigkeiten zu testen, arbeitete Google mit dem Filmemacher Donald Glover und seinem Kreativstudio Gilga zusammen. Sie nutzten Veo, um verschiedene kreative Techniken zu erkunden, darunter dynamische Kamerafahrten, die präzise Bewegungen und eine durchgehend stimmige Bildkomposition erfordern.

Abb. 6 Der Einsatz von Veo beim Filmemachen.

Traditionell sind Filmschaffende durch Zeit- und Ressourcenbeschränkungen eingeschränkt. Mit Veo konnten Glover und sein Team komplexe Einstellungen schnell ausprobieren und erstellen. Das verschaffte ihnen mehr Flexibilität und Raum für Innovationen im Filmproduktionsprozess.

Vor den eigentlichen Dreharbeiten konnten sie beispielsweise verschiedene dynamische Kamerafahrten ausprobieren, deren Wirkung beurteilen und bei Bedarf Anpassungen vornehmen. Diese Vorvisualisierung half ihnen, ihre Ideen weiterzuentwickeln und sicherzustellen, dass die Einstellungen wie beabsichtigt funktionieren würden. Dadurch waren letztlich weniger Wiederholungen während der eigentlichen Dreharbeiten nötig. Sie erstellten eine überzeugende Fallstudie, die das Potenzial von Veo zur Veränderung der Filmbranche veranschaulicht. Veo bietet eine schnellere und effizientere Möglichkeit, kreative Vorstellungen umzusetzen.

Praktische Einsatzmöglichkeiten von Veo in verschiedenen Branchen#

Veos fortschrittliche Möglichkeiten zur Videogenerierung lassen sich in vielen Branchen praktisch einsetzen. In der Werbung können damit schnell maßgeschneiderte, hochwertige Werbespots für bestimmte Zielgruppen erstellt werden, was Zeit und Produktionskosten spart. Im Bildungsbereich kann Veo ansprechende Lernvideos erstellen, die das Verständnis komplexer Konzepte erleichtern.

Unternehmen können Veo für Schulungen und die Unternehmenskommunikation nutzen. Fachkräfte im Gesundheitswesen könnten mit Veo medizinische Eingriffe zu Schulungszwecken simulieren. Für virtuelle Veranstaltungen und Konferenzen kann Veo realistische Simulationen von Veranstaltungsorten und Bühnen erstellen, die Teilnehmenden von überall aus ein ansprechendes und interaktives Erlebnis bieten. Veranstalter profitieren von einer größeren Reichweite und wertvollen Erkenntnissen für zukünftige Veranstaltungen.

Wenn ein KI-Modell das Potenzial hat, verschiedene Branchen zu beeinflussen, müssen Sicherheit und ethische Aspekte von KI berücksichtigt werden. Um eine breitere Nutzung zu ermöglichen und einen verantwortungsvollen Einsatz sicherzustellen, hat Google mehrere Sicherheitsmaßnahmen eingeführt. Von Veo erstellte Videos werden mit SynthID mit einem Wasserzeichen versehen. SynthID ist ein Tool, mit dem sich KI-generierte Inhalte kennzeichnen und erkennen lassen. SynthID unterstützt die Transparenz und trägt dazu bei, Risiken in Bezug auf Datenschutz, Urheberrecht und Verzerrungen zu mindern. Außerdem durchlaufen alle generierten Videos Sicherheitsfilter und Prüfungen auf auswendig gelernte Inhalte. Diese Schutzmaßnahmen sollen eine verantwortungsvolle Videoproduktion fördern.

Wo du auf Veo zugreifen kannst#

Bei der Einführung kündigte Google an, ausgewählten Kreativen einige Veo-Funktionen über VideoFX anzubieten, ein neues Tool auf labs.google, mit dem sie frühzeitig die Videogenerierung ausprobieren können. Für interessierte Kreative wurde eine Warteliste für Veo eingerichtet.

Weitere generative KI-Neuigkeiten von DeepMind aus dem Jahr 2024#

Neben Veo hat DeepMind 2024 mehrere Neuerungen im Bereich generativer KI vorgestellt. Eine davon ist Imagen 3, damals das fortschrittlichste Text-zu-Bild-Modell des Unternehmens. Imagen 3 kann besonders gut fotorealistische, lebensechte Bilder erstellen. Das Modell versteht natürlichsprachliche Aufforderungen sehr genau und erfasst komplizierte Details, während es visuelle Artefakte minimiert.

Abb. 7 Ein mit Imagen 3 generiertes Bild.

DeepMind hat außerdem Lyria entwickelt, sein bislang fortschrittlichstes Modell zur KI-Musikgenerierung. Im Rahmen dieser Arbeit hat DeepMind eine Sammlung von KI-Musikwerkzeugen namens Music AI Sandbox entwickelt. Diese Werkzeuge ermöglichen Musikerinnen, Musikern und Produzenten, neue kreative Möglichkeiten der Musikkomposition und Klangtransformation zu erkunden.

Abb. 8 Ein Beispiel für die Benutzeroberfläche der KI-Musikwerkzeuge von DeepMind.

Wie bei Veo hat DeepMind auch bei seinen anderen Neuerungen mehrere Schutzmaßnahmen eingeführt. SynthID wird bei diesen Neuerungen ebenfalls zur Wasserzeichenmarkierung und Erkennung KI-generierter Inhalte eingesetzt. Diese Neuerungen von DeepMind versprechen, verschiedene Branchen mit fortschrittlichen, effizienten und verantwortungsvollen Werkzeugen zur Erstellung hochwertiger visueller und akustischer Inhalte zu verändern.

Die nächste Phase der generativen KI gestalten#

DeepMinds Fortschritte bei der generativen KI im Jahr 2024, darunter Veo, Imagen 3 und Lyria, markieren einen bedeutenden Sprung bei den Fähigkeiten der KI. Veo verändert die Videoerstellung: Das Modell kann anhand einfacher Prompts hochwertige Videos in 1080p erzeugen und ist damit ein vielseitiges Werkzeug für Filmemacherinnen, Filmemacher und Content-Erstellende. Imagen 3 überzeugt mit fotorealistischen Bildern, während Lyria mit fortschrittlichen KI-Werkzeugen neue Möglichkeiten für die Musikgenerierung eröffnet.

Diese Technologien versprechen, verschiedene Branchen mit effizienten und verantwortungsvollen Werkzeugen zur Erstellung hochwertiger visueller und akustischer Inhalte zu verändern. Dank Sicherheitsmaßnahmen wie SynthID, die eine ethische Nutzung gewährleisten, verschiebt DeepMind die Grenzen der KI weiter und ebnet den Weg für innovative Anwendungen in der Zukunft.

Tauche in die Welt der KI ein: Besuche unser GitHub-Repository und werde Teil unserer Community. Auf unseren Lösungsseiten erfährst du, wie KI in der Fertigung und der Landwirtschaft eingesetzt wird.