Erstellen von Videos mit Google DeepMinds Veo

Abirami Vina

6 Minuten lesen

15. Mai 2024

Erfahren Sie mehr über Veo, das neueste generative Videomodell von Google DeepMind, das mühelos hochwertige 1080P-Videos aus Text-, Bild- und Videoanweisungen erstellen kann.

Während der 2024 I/O Präsentation von Google am 14. Mai wurden die neuesten Updates von DeepMind, der KI-Abteilung des Unternehmens, vorgestellt. Eine der aufregendsten Neuerungen war das neueste generative Videomodell, Veo. Veo kann hochwertige 1080P-Videos auf der Grundlage von Text-, Bild- und Videoanweisungen erstellen. Mit Veo können Sie die erstellten Videos sogar mit nachfolgenden Aufforderungen bearbeiten. Veo hebt die generative KI auf die nächste Stufe. Werfen wir einen genaueren Blick auf die Funktionen von Veo. 

Die Fähigkeiten von Veo verstehen

Veo ist ein generatives Videomodell, das ein tiefes Verständnis von Sprache und Bildern nutzt, um Videos zu erstellen, die genau der kreativen Vision eines Nutzers entsprechen. Es kann den Ton und die Details längerer Aufforderungen genau erfassen und ist damit ein leistungsstarkes Werkzeug für Kreative, die ihre Ideen in präzise Videoinhalte umsetzen möchten.

Der Nutzer hat eine bahnbrechende kreative Kontrolle über das erzeugte Video, da Veo Filmtechniken wie "Zeitraffer" und "Luftaufnahmen einer Landschaft" versteht. Diese kreative Kontrolle ermöglicht es dem Nutzer, Videos zu erstellen, in denen sich Menschen, Tiere und Objekte natürlich bewegen. Die von Veo erstellten Videos sind ansprechend und visuell attraktiv, da es schwer zu erkennen ist, dass sie von einem KI-Modell erstellt wurden.

Veo geht über die bloße Erstellung von Videos nach Eingabeaufforderungen hinaus. Wenn Sie ein zuvor erstelltes Video und eine spezielle Bearbeitungsanforderung bereitstellen, wie z. B. das Einfügen von Kajaks in eine Luftaufnahme einer Küstenlinie, kann Veo diese Änderung nahtlos in das ursprüngliche Video integrieren und eine aktualisierte Version erstellen.

__wf_reserved_inherit
Abb. 1. Ein Beispiel für die Videobearbeitung mit Veo.

Hier sind einige weitere Funktionen, die Veo bietet:

  • Maskierte Bearbeitung: Mit Veo können Sie bestimmte Bereiche eines Videos bearbeiten.
  • Bild-inspirierte Videoerstellung: Mit Hilfe eines Bildes und einer Textaufforderung kann Veo Videos erstellen, die den Stil des Bildes widerspiegeln und den Anweisungen der Aufforderung folgen.
  • Erweiterte Videoclips: Veo kann Videoclips mit einer Länge von 60 Sekunden oder mehr erstellen und verlängern, entweder aus einer einzelnen Eingabeaufforderung oder aus einer Folge von Eingabeaufforderungen, die zusammen eine Geschichte erzählen.

Atemberaubende Videos, die Veo erstellt hat

Schauen wir uns einige der Videos an, die Veo erstellt hat und warum sie so atemberaubend sind. 

Die Erstellung eines Zeitraffervideos anhand einer kurzen Textanweisung ist eine Herausforderung. In der Regel kann die kurze Textaufforderung Veränderungen und Bewegungen innerhalb der Szene des Zeitraffers nicht genau wiedergeben. Daher ist es erstaunlich, dass Veo verstehen kann, was von einem Zeitraffer zu erwarten ist, ohne auf die Details einzugehen. 

__wf_reserved_inherit
Abb. 2. Ein Bild aus dem von Veo erstellten Zeitraffer-Video.

Auch die Erstellung von Videos mit präziser Physik ist nicht einfach. Das KI-Modell muss physikalische Gesetze wie Schwerkraft, Impuls und Kollisionen verstehen und simulieren, um Bewegungen und Interaktionen realistisch erscheinen zu lassen. Es ist beeindruckend, dass Veo in der Lage ist, diese Dynamik ohne detaillierte Anleitung durch Textaufforderungen genau zu modellieren.

__wf_reserved_inherit
Abb. 3. Ein Bild aus einem Video, das mit Veo erstellt wurde, gibt die Physik der Quallenbewegung genau wieder.

Bisher haben wir nur kürzere Videos gesehen, die von der KI generiert wurden, weil die Rechenleistung begrenzt ist und es schwierig ist, die Kohärenz längerer Sequenzen aufrechtzuerhalten. Auf Googles I/O-Präsentation 2024 wurde die verblüffende Fähigkeit von Veo gezeigt, längere und komplexere Videos zu erstellen.

__wf_reserved_inherit
Abb. 4. Ausschnitte aus dem längeren Veo-Video, das auf der Google 2024 I/O Präsentation gezeigt wurde.

Wie funktioniert Veo?

Wie viele andere KI-Modelle steht auch Veo auf den Schultern von Giganten. Es stützt sich auf frühere Entwicklungen wie Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet und Lumiere sowie auf die Google-eigene Transformer-Architektur und Gemini. Um die Fähigkeit von Veo zu verbessern, Eingabeaufforderungen genau zu interpretieren, wurden die Untertitel der einzelnen Videos im Trainingsdatensatz detaillierter gestaltet. 

Basierend auf dem groben Workflow-Modell, das Google zur Verfügung stellt, funktioniert Veo folgendermaßen:

  • Eingabeaufforderungen: Sie stellen eine Texteingabeaufforderung und optional eine Bildeingabeaufforderung bereit.
  • Kodierung: Der Text-Prompt wird von einem UL2-Encoder verarbeitet, der Bild-Prompt von einem Bild-Encoder.
  • Eingebettete Eingabeaufforderung: Die Ausgaben von Text- und Bildcodierer werden zu einem einzigen eingebetteten Prompt kombiniert.
  • Latentes Diffusionsmodell: Der eingebettete Prompt und ein verrauschtes, komprimiertes Video werden an dieses Modell weitergeleitet, das daraus ein komprimiertes Video erzeugt. Veo verwendet hochwertige, komprimierte Videodarstellungen, so genannte Latents, um die Effizienz zu verbessern und gleichzeitig die Qualität zu erhalten.
  • Dekodierung: Im letzten Schritt wird die 1080p-Videoausgabe aus dem komprimierten Video dekodiert.
__wf_reserved_inherit
Abb. 5. Wie Veo funktioniert.

Eine fesselnde Fallstudie des Filmemachens

Um die Fähigkeiten von Veo zu testen, hat sich Google mit dem Filmemacher Donald Glover und seinem Kreativstudio Gilga zusammengetan. Sie nutzten Veo, um verschiedene kreative Techniken zu erforschen, darunter dynamische Kamerafahrten, die präzise Bewegungen und einen konsistenten Bildausschnitt erfordern. 

__wf_reserved_inherit
Abb. 6. Die Verwendung von Veo im Filmprozess.

Traditionell sind Filmemacher aufgrund von Zeit- und Ressourcenbeschränkungen eingeschränkt. Mit Veo konnten Glover und sein Team schnell mit komplexen Aufnahmen experimentieren und diese generieren, was wiederum zu mehr Flexibilität und Innovation im Filmprozess führte.

Mit Veo konnten Glover und sein Team schnell mit komplexen Aufnahmen experimentieren und diese vor den eigentlichen Dreharbeiten erstellen. So konnten sie beispielsweise verschiedene dynamische Kamerafahrten ausprobieren, um zu sehen, wie sie aussehen würden, und bei Bedarf Anpassungen vornehmen. Dieser Prozess der Vorvisualisierung half ihnen, ihre Ideen zu verfeinern und sicherzustellen, dass die Aufnahmen wie beabsichtigt funktionieren würden, was letztendlich die Anzahl der während der eigentlichen Dreharbeiten erforderlichen Aufnahmen reduzierte. Sie waren in der Lage, eine überzeugende Fallstudie zu erstellen, um das Potenzial von Veo zur Veränderung der Filmindustrie zu demonstrieren. Es bietet eine schnellere und effizientere Möglichkeit, kreative Visionen zum Leben zu erwecken.

Praktische Anwendungen von Veo in verschiedenen Branchen 

Die fortschrittlichen Funktionen von Veo zur Videoerstellung finden in vielen Branchen praktische Anwendung. In der Werbung können schnell maßgeschneiderte, qualitativ hochwertige Werbespots für ein bestimmtes Zielpublikum produziert werden, was Zeit und Produktionskosten spart. Im Bildungsbereich kann Veo ansprechende Lehrvideos erstellen, die komplexe Konzepte leichter verständlich machen. 

Unternehmen können Veo für Schulungen und die Unternehmenskommunikation nutzen. Angehörige der Gesundheitsberufe können Veo nutzen, um medizinische Verfahren zu Schulungszwecken zu simulieren. Für virtuelle Veranstaltungen und Konferenzen kann Veo realitätsnahe Simulationen von Veranstaltungsorten und Bühnen erstellen, die den Teilnehmern von überall aus ein fesselndes und interaktives Erlebnis bieten. Organisatoren profitieren von einer größeren Reichweite und wertvollen Erkenntnissen für künftige Veranstaltungen. Dank Veo haben sich unzählige Möglichkeiten eröffnet.

Wenn ein KI-Modell das Potenzial hat, verschiedene Branchen zu berühren, ist es wichtig, Sicherheit und ethische KI im Auge zu behalten. Um eine breitere Einführung zu ermöglichen und eine verantwortungsvolle Nutzung zu gewährleisten, hat Google mehrere Sicherheitsmaßnahmen eingeführt. Die von Veo erstellten Videos werden mit SynthID, einem Tool zur Kennzeichnung und Identifizierung von KI-generierten Inhalten, mit einem Wasserzeichen versehen. SynthId sorgt für Transparenz und trägt dazu bei, Risiken in Bezug auf Datenschutz, Urheberrecht und Voreingenommenheit zu mindern. Darüber hinaus durchlaufen alle generierten Videos Sicherheitsfilter und Gedächtniskontrollprozesse. Diese Sicherheitsvorkehrungen machen Veo zu einem wertvollen und ethischen Werkzeug, das eine verantwortungsvolle und innovative Videoproduktion unterstützt.

Wo Sie Zugang zu Veo haben

In den kommenden Wochen wird Google einige der bahnbrechenden Funktionen von Veo über VideoFX, ein neues Tool, das unter labs.google verfügbar ist, ausgewählten Kreativen zur Verfügung stellen. Diese Initiative ermöglicht einen frühzeitigen Zugang zu den fortschrittlichen Videoerstellungsfunktionen von Veo und gibt den Kreativen die Möglichkeit, mit den innovativen Funktionen zu experimentieren. Die Warteliste für Veo ist derzeit offen und lädt interessierte Kreative ein, sich anzumelden und die leistungsstarken Tools von Veo in ihren Projekten zu nutzen.

Mehr über DeepMinds generative KI-Updates für 2024

Neben Veo hat DeepMind für 2024 mehrere bahnbrechende Updates im Bereich der generativen KI vorgestellt. Eines dieser Updates ist Imagen 3, das bisher fortschrittlichste Text-Bild-Modell. Imagen 3 zeichnet sich durch die Erstellung fotorealistischer, naturgetreuer Bilder aus. Es versteht natürlichsprachliche Eingabeaufforderungen sehr gut und erfasst komplizierte Details, während visuelle Artefakte minimiert werden.

__wf_reserved_inherit
Abb. 7. Ein mit Imagen 3 erzeugtes Bild.

DeepMind hat auch Lyria entwickelt, sein fortschrittlichstes Modell für die KI-Musikgenerierung. Im Rahmen dieser Bemühungen hat DeepMind eine Reihe von Musik-KI-Tools namens Music AI Sandbox entwickelt. Diese Werkzeuge ermöglichen es Musikern und Produzenten, neue kreative Möglichkeiten der Musikkomposition und Klangumwandlung zu erkunden.

__wf_reserved_inherit
Abb. 8. Ein Beispiel für die Benutzeroberfläche der KI-Musikwerkzeuge von DeepMind.

Ähnlich wie bei Veo hat DeepMind auch bei seinen anderen Updates verschiedene Sicherheitsmaßnahmen eingeführt. Die SynthID wird bei diesen Updates als Werkzeug für Wasserzeichen und zur Identifizierung von KI-generierten Inhalten verwendet. Diese Updates von DeepMind versprechen, verschiedene Branchen zu verändern, indem sie fortschrittliche, effiziente und verantwortungsvolle Werkzeuge für die Erstellung hochwertiger visueller und akustischer Inhalte bieten.

Lassen Sie uns gemeinsam die Zukunft
der KI gestalten!

Beginnen Sie Ihre Reise in die Zukunft des maschinellen Lernens

Kostenloser Start
Link in die Zwischenablage kopiert