Videos generieren mit Google DeepMinds Veo

Während der Präsentation zur Google's 2024 I/O am 14. Mai teilte das Unternehmen die neuesten Updates von DeepMind, seiner KI-Sparte, mit. Einer der spannendsten Fortschritte war die Vorstellung ihres neuesten generativen Videomodells, Veo. Veo kann hochwertige 1080P-Videos basierend auf Text-, Bild- und Video-Prompts erstellen. Es ermöglicht sogar die Bearbeitung generierter Videos mit nachfolgenden Prompts. Veo bringt generative KI auf das nächste Level. Schauen wir uns die von Veo gebotenen Funktionen genauer an.

Veos Fähigkeiten verstehen#

Veo ist ein generatives Videomodell, das ein tiefes Verständnis für Sprache und Bilder nutzt, um Videos zu erstellen, die genau der kreativen Vision eines Nutzers entsprechen. Es kann die Stimmung und die Details längerer Prompts präzise erfassen und ist damit ein mächtiges Werkzeug für Kreative, die ihre Ideen in präzise Videoinhalte verwandeln möchten.

Du hast bahnbrechende kreative Kontrolle über das generierte Video, da Veo Filmtechniken wie „Zeitraffer“ und „Luftaufnahmen einer Landschaft“ versteht. Diese kreative Kontrolle ermöglicht es dir, Videos zu erstellen, in denen sich Menschen, Tiere und Objekte natürlich bewegen. Die von Veo generierten Videos sind fesselnd und visuell attraktiv, da es schwer ist zu erkennen, dass sie von einem KI-Modell erstellt wurden.

Veo geht über das bloße Erstellen von Videos aus Prompts hinaus. Wenn du ein zuvor generiertes Video und eine spezifische Bearbeitungsanfrage bereitstellst, wie zum Beispiel das Einfügen von Kajaks in eine Luftaufnahme einer Küste, kann Veo diese Änderung nahtlos in das Originalvideo integrieren und eine aktualisierte Version erstellen.

Fig 1. Ein Beispiel für die Videobearbeitung mit Veo.

Hier sind einige weitere Funktionen, die Veo bietet:

• Maskierte Bearbeitung: Veo kann dir helfen, definierte Bereiche eines Videos zu bearbeiten.
• Bild-inspirierte Videokreation: Unter Verwendung eines Bildes und eines Text-Prompts kann Veo Videos generieren, die den Stil des Bildes widerspiegeln und den Anweisungen des Prompts folgen.
• Erweiterte Videoclips: Veo kann Videoclips auf 60 Sekunden oder länger erstellen und erweitern, entweder aus einem einzelnen Prompt oder einer Abfolge von Prompts, die zusammen eine Geschichte erzählen.

Atemberaubende Videos, die Veo generiert hat#

Gehen wir einige der Videos durch, die Veo generiert hat, und sehen wir uns an, warum sie so atemberaubend sind.

Das Generieren eines Zeitraffervideos aus einem kurzen Text-Prompt ist eine Herausforderung. Normalerweise kann ein kurzer Text-Prompt die Veränderungen und Bewegungen innerhalb der Zeitrafferszene nicht genau vermitteln. Daher ist es erstaunlich, dass Veo versteht, was von einem Zeitraffer zu erwarten ist, ohne ins Detail gehen zu müssen.

Fig 2. Ein Frame aus dem von Veo generierten Zeitraffervideo.

Ebenso ist das Generieren von Videos mit akkurater Physik nicht einfach. Das KI-Modell muss physikalische Gesetze wie Schwerkraft, Impuls und Kollisionen verstehen und simulieren, um Bewegungen und Interaktionen realistisch wirken zu lassen. Es ist beeindruckend, dass Veo in der Lage ist, diese Dynamiken ohne detaillierte Anleitungen durch Text-Prompts präzise zu modellieren.

Fig 3. Ein Frame aus einem mit Veo generierten Video erfasst präzise die Physik der Quallenbewegung.

Bisher haben wir aufgrund von Rechenbeschränkungen und der Komplexität, die Kohärenz über längere Sequenzen aufrechtzuerhalten, nur kürzere, von KI generierte Videos gesehen. Auf der Google I/O 2024-Präsentation wurde Veos beeindruckende Fähigkeit demonstriert, längere und komplexere Videos zu erstellen.

Fig 4. Frames aus dem längeren Veo-Video, das auf der Google 2024 I/O-Präsentation gezeigt wurde.

Wie funktioniert Veo?#

Wie viele andere KI-Modelle steht Veo auf den Schultern von Giganten. Es greift auf frühere Fortschritte wie Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet und Lumiere sowie Googles proprietäre Transformer-Architektur und Gemini zurück. Um Veos Fähigkeit zur präzisen Interpretation von Prompts zu verbessern, waren zudem die Bildunterschriften jedes Videos im Trainingsdatensatz detaillierter.

Basierend auf dem groben Modell-Workflow von Google, funktioniert Veo so:

• Eingabe-Prompts: Du gibst einen Text-Prompt und optional einen Bild-Prompt an.
• Kodierung: Der Text-Prompt wird von einem UL2 Encoder verarbeitet und der Bild-Prompt von einem Bild-Encoder.
• Eingebetteter Prompt: Die Ausgaben der Text- und Bild-Encoder werden kombiniert, um einen einzigen eingebetteten Prompt zu bilden.
• Latent Diffusion Model: Der eingebettete Prompt und ein verrauschtes, komprimiertes Video werden an dieses Modell übergeben, das daraus ein komprimiertes Video generiert. Veo verwendet hochwertige, komprimierte Videorepräsentationen, sogenannte Latents, um die Effizienz zu verbessern und gleichzeitig die Qualität beizubehalten.
• Dekodierung: Der letzte Schritt dekodiert die 1080p-Videoausgabe aus dem komprimierten Video.

Fig 5. Wie Veo funktioniert.

Eine überzeugende Fallstudie in der Filmproduktion#

Um Veos Fähigkeiten zu testen, arbeitete Google mit dem Filmemacher Donald Glover und seinem Kreativstudio Gilga zusammen. Sie nutzten Veo, um verschiedene kreative Techniken zu erforschen, darunter dynamische Tracking-Shots, die präzise Bewegungen und konsistente Bildkomposition erfordern.

Fig 6. Verwendung von Veo im Filmemachungsprozess.

Traditionell sehen sich Filmemacher aufgrund von Zeit- und Ressourcenbeschränkungen Einschränkungen gegenüber. Mit Veo konnten Glover und sein Team schnell experimentieren und komplexe Aufnahmen generieren, was wiederum mehr Flexibilität und Innovation im Filmprozess ermöglichte.

Mit Veo konnten Glover und sein Team schnell experimentieren und komplexe Aufnahmen vor dem eigentlichen Dreh generieren. Sie konnten zum Beispiel verschiedene dynamische Tracking-Shots testen, um zu sehen, wie sie aussehen würden, und bei Bedarf Anpassungen vornehmen. Dieser Pre-Visualization-Prozess half ihnen, ihre Ideen zu verfeinern und sicherzustellen, dass die Aufnahmen wie beabsichtigt funktionieren würden, was letztendlich die Anzahl der erforderlichen Takes während des eigentlichen Drehs reduzierte. Sie konnten eine überzeugende Fallstudie erstellen, um Veos Potenzial zu demonstrieren, die Filmindustrie zu verändern. Es bietet eine schnellere und effizientere Möglichkeit, kreative Visionen zum Leben zu erwecken.

Praktische Einsatzmöglichkeiten von Veo in verschiedenen Branchen#

Veos fortschrittliche Videogenerierungsfähigkeiten haben praktische Anwendungen in vielen Branchen. In der Werbung können schnell maßgeschneiderte, hochwertige Werbespots für gezielte Zielgruppen produziert werden, was Zeit und Produktionskosten spart. Im Bildungsbereich kann Veo ansprechende Lehrvideos erstellen, die komplexe Konzepte leichter verständlich machen.

Unternehmen können Veo für Schulungen und die Unternehmenskommunikation nutzen. Fachleute im Gesundheitswesen könnten Veo verwenden, um medizinische Eingriffe zu Schulungszwecken zu simulieren. Was virtuelle Events und Konferenzen betrifft, kann Veo lebensechte Simulationen von Veranstaltungsorten und Bühnen erstellen und den Teilnehmern von überall aus ein fesselndes und interaktives Erlebnis bieten. Veranstalter profitieren von einer größeren Reichweite und wertvollen Einblicken für zukünftige Events. Dank Veo haben sich unzählige Möglichkeiten eröffnet.

Wenn ein KI-Modell das Potenzial hat, verschiedene Branchen zu beeinflussen, ist es wichtig, Sicherheit und ethische KI im Auge zu behalten. Um eine breitere Akzeptanz zu ermöglichen und eine verantwortungsvolle Nutzung sicherzustellen, hat Google mehrere Sicherheitsmaßnahmen implementiert. Von Veo erstellte Videos werden mit SynthID mit einem Wasserzeichen versehen, einem Werkzeug zur Kennzeichnung und Identifizierung von KI-generierten Inhalten. SynthID sorgt für Transparenz und hilft dabei, Risiken in Bezug auf Datenschutz, Urheberrecht und Voreingenommenheit zu mindern. Abgesehen davon durchlaufen alle generierten Videos Sicherheitsfilter und Prozesse zur Überprüfung auf Auswendiglernen. Diese Schutzmaßnahmen machen Veo zu einem wertvollen und ethischen Werkzeug, das eine verantwortungsvolle und innovative Videoproduktion unterstützt.

Zugang zu Veo#

In den kommenden Wochen wird Google einigen ausgewählten Creatorn über VideoFX, ein neues Tool auf labs.google, einige der bahnbrechenden Funktionen von Veo zur Verfügung stellen. Diese Initiative ermöglicht einen frühzeitigen Zugriff auf die fortschrittlichen Videogenerierungsfunktionen von Veo und gibt Creatorn die Möglichkeit, mit seinen innovativen Features zu experimentieren. Die Warteliste für Veo ist derzeit geöffnet und lädt interessierte Creator dazu ein, sich anzumelden und die leistungsstarken Tools von Veo in ihren Projekten zu nutzen.

Mehr zu DeepMinds generativen KI-Updates für 2024#

Abgesehen von Veo hat DeepMind für 2024 mehrere bahnbrechende Updates im Bereich der generativen KI vorgestellt. Eines dieser Updates ist Imagen 3, ihr bisher fortschrittlichstes Text-zu-Bild-Modell. Imagen 3 zeichnet sich durch die Erstellung fotorealistischer, lebensechter Bilder aus. Es versteht natürliche Sprachprompts tiefgehend und fängt komplizierte Details ein, während visuelle Artefakte minimiert werden.

Fig 7. Ein mit Imagen 3 generiertes Bild.

DeepMind hat außerdem Lyria entwickelt, sein fortschrittlichstes Modell zur KI-Musikgenerierung. Im Rahmen dieser Bemühungen hat DeepMind eine Reihe von Musik-KI-Tools namens Music AI Sandbox entwickelt. Diese Tools ermöglichen es Musikern und Produzenten, neue kreative Möglichkeiten bei der Musikkomposition und Klangtransformation zu erkunden.

Fig 8. Eine Beispiel-Benutzeroberfläche der KI-Musiktools von DeepMind.

Ähnlich wie bei Veo hat DeepMind auch bei seinen anderen Updates mehrere Sicherheitsmaßnahmen implementiert. Die SynthID wird bei diesen Updates als Werkzeug zur Kennzeichnung und Identifizierung von KI-generierten Inhalten verwendet. Diese Updates von DeepMind versprechen, verschiedene Branchen durch das Angebot fortschrittlicher, effizienter und verantwortungsvoller Werkzeuge zur Erstellung hochwertiger visueller und akustischer Inhalte zu transformieren.

Die nächste Phase der generativen KI navigieren#

DeepMinds Fortschritte in der generativen KI im Jahr 2024, darunter Veo, Imagen 3 und Lyria, markieren einen beachtlichen Sprung bei den KI-Fähigkeiten. Veo transformiert die Videokreation mit seiner Fähigkeit, hochwertige 1080p-Videos aus einfachen Prompts zu generieren, was es zu einem vielseitigen Werkzeug für Filmemacher und Content-Ersteller macht. Imagen 3 glänzt bei der Erstellung fotorealistischer Bilder, während Lyria neue Möglichkeiten bei der Musikgenerierung durch fortschrittliche KI-Werkzeuge eröffnet.

Diese Technologien versprechen, verschiedene Branchen zu transformieren, indem sie effiziente und verantwortungsvolle Werkzeuge zur Erstellung hochwertiger visueller und akustischer Inhalte bereitstellen. Mit Sicherheitsmaßnahmen wie SynthID, die eine ethische Nutzung gewährleisten, erweitert DeepMind weiterhin die Grenzen der KI und ebnet den Weg für innovative Anwendungen in der Zukunft.

Tauche in die KI ein, indem du unser GitHub-Repository besuchst und unserer Community beitrittst. Entdecke unsere Lösungsseiten, um zu erfahren, wie KI in der Fertigung und in der Landwirtschaft angewendet wird.