Meta Movie Gen: Inhalte neu denken

Ganz gleich, ob du angehender Filmemacher bist oder als Content Creator gerne Videos für dein Publikum erstellst: KI-Tools, die deine Kreativität erweitern, sind immer hilfreich. Vor Kurzem hat Meta sein neuestes generatives Videomodell vorgestellt: Meta Movie Gen.

Prognosen zufolge wird der weltweite Markt für generative KI in den Bereichen Medien und Unterhaltung bis 2033 ein Volumen von 11,57 Milliarden US-Dollar erreichen. Unternehmen wie Runway, OpenAI und Meta sind dabei führend. Meta Movie Gen eignet sich besonders für Anwendungen wie Filmemachen, die Erstellung von Videoinhalten und digitales Storytelling. Damit lassen sich kreative Ideen leichter denn je in hochwertige, KI-generierte Videos umsetzen. In diesem Artikel sehen wir uns Meta Movie Gen und seine Funktionsweise an. Außerdem werfen wir einen genaueren Blick auf einige seiner Anwendungsbereiche.

Abb. 1. Einzelbild aus einem mit Meta Movie Gen erzeugten Videoclip.

Was ist Meta Movie Gen?#

Bevor wir erklären, was Meta Movie Gen ist, sehen wir uns an, wie es entstanden ist.

Metas Forschungsarbeit zu generativer KI begann mit der Make-A-Scene-Reihe von Modellen. Diese Forschung befasst sich mit einem multimodalen Ansatz für generative KI, der Künstlern und Visionären hilft, ihre Vorstellungskraft zum Leben zu erwecken. Künstler können Bilder, Audio, Videos oder 3D-Animationen eingeben und so die gewünschten Bilder erzeugen. Der nächste Innovationsschritt waren Diffusionsmodelle wie die Llama Image Foundation-Modelle (Emu), die die Erzeugung deutlich hochwertigerer Bilder und Videos sowie die Bildbearbeitung ermöglichten.

Abb. 2. Beispiel für die Erzeugung eines Bildes mithilfe einer Skizze und einer Texteingabe in Make-A-Scene.

Movie Gen ist Metas neuester Beitrag zur Forschung im Bereich generative KI. Es vereint alle zuvor genannten Modalitäten und ermöglicht eine noch feinere Steuerung, sodass Menschen die Modelle auf kreativere Weise nutzen können. Meta Movie Gen umfasst mehrere Foundation-Modelle zur Erzeugung verschiedener Medientypen, darunter Text-zu-Video, Text-zu-Audio und Text-zu-Bild. Es besteht aus vier Modellen, die mit einer Kombination aus lizenzierten und öffentlich verfügbaren Datensätzen trainiert wurden.

Hier ein kurzer Überblick über diese Modelle:

• Movie Gen Video-Modell: Ein Modell mit 30 Milliarden Parametern, das aus Texteingaben hochwertige Videos erzeugt.
• Movie Gen Audio-Modell: Ein Modell mit 13 Milliarden Parametern, das zum Videoinhalt passende Soundtracks erstellen kann.
• Personalisiertes Movie Gen Video-Modell: Es erzeugt anhand einer Texteingabe und eines einzelnen Bildes Videos bestimmter Personen und bewahrt dabei deren Aussehen.
• Movie Gen Edit-Modell: Mit dem Modell lassen sich reale und fiktive Videos detailliert anhand von Text bearbeiten.

Training des Meta Movie Gen-Videomodells#

Bei der Entwicklung und dem Training des Movie Gen Video-Modells kamen mehrere wichtige Verfahren zum Einsatz. Zunächst wurden visuelle Daten gesammelt und aufbereitet, darunter Bilder und Videoclips, vorwiegend zu menschlichen Aktivitäten. Diese wurden nach Qualität, Bewegung und Relevanz gefiltert. Anschließend wurden die Daten mit Textbeschreibungen verknüpft, die das Geschehen in den einzelnen Szenen erklärten. Die mit dem Llama 3-Video-Modell von Meta erstellten Beschreibungen lieferten ausführliche Details zum Inhalt der Szenen und verbesserten so die visuellen Erzählfähigkeiten des Modells.

Abb. 3. Überblick über die Datenaufbereitungspipeline für das Vortraining des Movie Gen Video-Modells.

Beim Training lernte das Modell zunächst, Text in Bilder mit niedriger Auflösung umzuwandeln. Anschließend entwickelte es sich weiter und erstellte mithilfe einer Kombination aus Text-zu-Bild- und Text-zu-Video-Training Videoclips mit zunehmend hochwertigeren Bildern.

Ein Tool namens Temporal Autoencoder (TAE) komprimierte die Videos, um große Datenmengen effizient zu verarbeiten. Durch Feinabstimmung wurde die Videoqualität weiter verbessert. Ein Verfahren namens Modellmittelung (dabei werden mehrere Modelle gemittelt, die mit unterschiedlichen Daten, Hyperparametern und Checkpoints feinabgestimmt wurden) sorgte für eine höhere Konsistenz der Ergebnisse. Zum Schluss wurde das Video, das ursprünglich eine Auflösung von 768p hatte, mithilfe eines räumlichen Upsampling-Verfahrens auf eine gestochen scharfe Auflösung von 1080p hochskaliert. Dieses Verfahren erhöht die Bildauflösung, indem es Pixeldaten ergänzt und so für klarere Bilder sorgt. Das Ergebnis waren hochwertige, detailreiche Videos.

Die Funktionen von Meta Movie Gen im Überblick#

Die Meta Movie Gen-Modelle unterstützen vor allem vier verschiedene Funktionen. Sehen wir uns jede davon genauer an.

Video- und Audioerzeugung#

Meta Movie Gen kann hochwertige Videos erzeugen. Die Videoclips können bis zu 16 Sekunden lang sein und mit 16 fps (Bildern pro Sekunde) laufen. Aus Textvorgaben entstehen realistische Bilder, die Bewegung, Interaktionen und Kameraperspektiven abbilden. In Kombination mit dem Audiomodell mit 13 Milliarden Parametern kann es synchronisiertes Audio erzeugen, darunter Umgebungsgeräusche, Foley-Effekte und Musik, die zu den Bildern passen.

Diese Konfiguration sorgt dafür, dass Bild und Ton in verschiedenen Szenen und zu unterschiedlichen Vorgaben aufeinander abgestimmt und realistisch bleiben. So wurden die Modelle beispielsweise verwendet, um Videoclips des viralen Zwergflusspferds aus Thailand namens Moo Deng zu erstellen.

Abb. 4. Einzelbild aus einem mit Metas Movie Gen erstellten Videoclip von Moo Deng.

Personalisierte Videoerzeugung#

Eine weitere interessante Funktion von Meta Movie Gen ist die personalisierte Videoerzeugung. Nutzer können ein Bild einer Person und eine Textvorgabe dazu eingeben, wie der Videoclip erstellt werden soll. Das Ergebnis ist ein Video, in dem die abgebildete Person vorkommt und die in der Textvorgabe beschriebenen visuellen Details berücksichtigt werden. Das Modell nutzt beide Eingaben – Bild und Text –, um das einzigartige Aussehen und die natürlichen Bewegungen der Person zu bewahren und gleichzeitig die beschriebene Szene präzise umzusetzen.

Abb. 5. Beispiel für die Funktion zur personalisierten Videoerzeugung des Modells.

Präzise Videobearbeitung#

Mit dem Movie Gen Edit-Modell können Nutzer einen Videoclip und eine Textvorgabe eingeben, um das Video auf kreative Weise zu bearbeiten. Das Modell kombiniert Videoerzeugung mit fortschrittlicher Bildbearbeitung und ermöglicht sehr gezielte Änderungen, etwa das Hinzufügen, Entfernen oder Ersetzen von Elementen. Außerdem kann es umfassende Änderungen vornehmen, beispielsweise den Hintergrund des Videoclips oder den Gesamtstil anpassen. Das Modell zeichnet sich durch seine Präzision aus: Es kann gezielt nur die zu bearbeitenden Pixel auswählen und den Rest unverändert lassen. So bleibt der ursprüngliche Inhalt so weit wie möglich erhalten.

Abb. 6. Verschiedene Beispiele für die Videobearbeitungsfunktionen des Movie Gen Edit-Modells.

Die Benchmarking-Tools von Meta Movie Gen#

Zusammen mit den Modellen für generative KI stellte Meta auch Movie Gen Bench vor, eine Sammlung von Benchmarking-Tools zum Testen der Leistung generativer KI-Modelle. Sie umfasst zwei Hauptwerkzeuge: Movie Gen Video Bench und Movie Gen Audio Bench. Beide dienen dazu, verschiedene Aspekte der Video- und Audioerzeugung zu testen.

Hier ein kurzer Überblick über beide Tools:

• Movie Gen Video Bench: Das Tool umfasst 1.003 Vorgaben, die eine Vielzahl von Testkategorien abdecken, etwa menschliche Aktivitäten, Tiere, Naturlandschaften, Physik sowie ungewöhnliche Themen und Aktivitäten. Besonders wertvoll an diesem Bewertungsbenchmark ist die Abdeckung verschiedener Bewegungsintensitäten. So wird das Videogenerierungsmodell sowohl mit schnellen als auch mit langsameren Sequenzen getestet.
• Movie Gen Audio Bench: Das Tool dient dazu, die Audioerzeugung anhand von 527 Texteingaben zu testen. Diese Eingaben werden mit generierten Videos kombiniert, um zu bewerten, wie gut das Modell Soundeffekte und Musik mit den visuellen Inhalten synchronisieren kann.

Abb. 7 Die Grafik zeigt eine Aufschlüsselung der Evaluierungseingaben: Links befindet sich eine Liste von Begriffen, rechts eine Wortwolke mit häufig verwendeten Substantiven und Verben.

Eine praktische Anwendung von Meta Movie Gen#

Nachdem wir nun die Meta Movie Gen-Modelle und ihre Funktionsweise behandelt haben, sehen wir uns eine ihrer praktischen Anwendungen an.

KI-Innovationen von Movie Gen für das Filmemachen#

Eine der spannendsten Einsatzmöglichkeiten von Metas Movie Gen ist die Veränderung des Filmemachens durch KI-gestützte Video- und Audioerzeugung. Mit Movie Gen können Kreative aus einfachen Textvorgaben hochwertige Bilder und Töne erzeugen und so neue Wege des Geschichtenerzählens erschließen.

Meta arbeitete mit Blumhouse und einer Gruppe von Filmemachern zusammen und holte ihr Feedback dazu ein, wie Movie Gen den kreativen Prozess am besten unterstützen kann. Filmemacher wie Aneesh Chaganty, die Spurlock Sisters und Casey Affleck testeten, wie gut das Tool Stimmung, Ton und visuelle Ausrichtung umsetzen kann. Sie stellten fest, dass die Modelle neue Ideen anregten.

Dieses Pilotprogramm hat gezeigt, dass Movie Gen zwar das traditionelle Filmemachen nicht ersetzt, Regisseuren aber eine neue Möglichkeit bietet, schnell und kreativ mit visuellen und akustischen Elementen zu experimentieren. Die Filmemacher schätzten außerdem, dass sie dank der Bearbeitungsfunktionen des Tools freier mit Hintergrundgeräuschen, Effekten und visuellen Stilen spielen konnten.

Abb. 8. Einzelbild aus einem mit Meta Movie Gen erstellten Kurzfilm.

Die wichtigsten Erkenntnisse#

Meta Movie Gen ist ein Fortschritt bei der Nutzung generativer KI, um aus einfachen Textbeschreibungen hochwertige Videos und Klänge zu erstellen. Das Tool ermöglicht Nutzern die einfache Erstellung realistischer, individuell gestalteter Videos. Mit Funktionen wie präziser Videobearbeitung und personalisierter Medienerzeugung bietet Meta Movie Gen ein flexibles Werkzeugset, das neue Möglichkeiten für Storytelling, Filmemachen und mehr eröffnet. Meta Movie Gen verändert die Art und Weise, wie Videos in verschiedenen Bereichen erstellt und genutzt werden, indem detaillierte und nützliche Bilder leichter zu erzeugen sind.

Weitere Informationen findest du in unserem GitHub-Repository. Tausche dich mit unserer Community aus und entdecke auf unseren Lösungsseiten KI-Anwendungen für selbstfahrende Autos und die Landwirtschaft.