Meta Movie Gen: Inhalte neu gedacht

Egal, ob du angehender Filmemacher oder Content Creator bist und gern Videos für dein Publikum erstellst – KI-Tools, die deine Kreativität erweitern, sind immer hilfreich. Kürzlich hat Meta sein neuestes generatives Videomodell namens Meta Movie Gen vorgestellt.

Der weltweite Markt für generative KI in Medien und Unterhaltung wird voraussichtlich bis 2033 ein Volumen von 11,57 Milliarden US-Dollar erreichen. Unternehmen wie Runway, OpenAI und Meta treiben dabei wegweisende Innovationen voran. Besonders Meta Movie Gen eignet sich für Anwendungen wie Filmemachen, die Erstellung von Videoinhalten und digitales Storytelling. Dadurch lassen sich kreative Visionen einfacher denn je in hochwertige, KI-generierte Videos verwandeln. In diesem Artikel sehen wir uns Meta Movie Gen und seine Funktionsweise an. Außerdem werfen wir einen genaueren Blick auf einige seiner Anwendungen. Legen wir los!

Abb. 1. Ein Einzelbild aus einem mit Meta Movie Gen generierten Videoclip.

Was ist Meta Movie Gen?#

Bevor wir erklären, was Meta Movie Gen ist, sehen wir uns an, wie es entstanden ist.

Metas Forschungsarbeit zu generativer KI begann mit der Make-A-Scene-Reihe von Modellen. Diese Forschung konzentriert sich auf ein multimodales Verfahren der generativen KI, das Künstlern und Visionären dabei hilft, ihre Vorstellungen zum Leben zu erwecken. Künstler können Bilder, Audio, Videos oder 3D-Animationen eingeben, um die gewünschte Bildausgabe zu erhalten. Der nächste Innovationssprung kam mit Diffusionsmodellen wie den Llama Image Foundation-Modellen (Emu). Sie ermöglichten die Erstellung von Bildern und Videos mit deutlich höherer Qualität und machten die Bildbearbeitung möglich.

Abb. 2. Beispiel für die Verwendung einer Skizze und einer Texteingabe von Make-A-Scene zur Erstellung eines Bildes.

Movie Gen ist Metas neuester Beitrag zur Forschung im Bereich der generativen KI. Es kombiniert alle zuvor genannten Modalitäten und ermöglicht eine noch feinere Steuerung, sodass Menschen die Modelle auf kreativere Weise nutzen können. Meta Movie Gen ist eine Sammlung grundlegender Modelle zur Generierung verschiedener Medientypen, darunter Text-zu-Video, Text-zu-Audio und Text-zu-Bild. Sie besteht aus vier Modellen, die mit einer Kombination aus lizenzierten und öffentlich verfügbaren Datensätzen trainiert wurden.

Hier ist ein kurzer Überblick über diese Modelle:

• Movie Gen Video model: Ein Modell mit 30 Milliarden Parametern, das aus Text-Prompts hochwertige Videos generiert.
• Movie Gen Audio model: Ein Modell mit 13 Milliarden Parametern, das zum Videoinhalt synchronisierte Soundtracks erstellen kann.
• Personalized Movie Gen Video model: Es generiert auf Grundlage eines Text-Prompts und eines einzelnen Bildes Videos bestimmter Personen und bewahrt dabei deren Aussehen.
• Movie Gen Edit model: Das Modell ermöglicht detaillierte, textbasierte Bearbeitungen echter und fiktiver Videos.

Training des Meta Movie Gen video model#

An der Erstellung und am Training des Movie Gen Video model waren mehrere wichtige Prozesse beteiligt. Im ersten Schritt wurden visuelle Daten vorbereitet und gesammelt, darunter Bilder und Videoclips, hauptsächlich von menschlichen Aktivitäten, die nach Qualität, Bewegung und Relevanz gefiltert wurden. Anschließend wurden die Daten mit Textbeschreibungen verknüpft, die erklärten, was in den einzelnen Szenen geschah. Die mit dem Meta-LLaMa3-Video-Modell generierten Beschreibungen lieferten umfangreiche Details zum Inhalt jeder Szene und verbesserten dadurch die visuellen Storytelling-Fähigkeiten des Modells.

Abb. 3. Überblick über die Pipeline zur Aufbereitung der Vortrainingsdaten des Movie Gen Video model.

Der Trainingsprozess begann damit, dass das Modell lernte, Text in Bilder mit niedriger Auflösung umzuwandeln. Anschließend erzeugte es durch eine Kombination aus Text-zu-Bild- und Text-zu-Video-Training vollständige Videoclips und verwendete dabei zunehmend hochwertigere Bilder.

Ein Tool namens Temporaler Autoencoder (TAE) komprimierte die Videos, um große Datenmengen effizient zu verarbeiten. Durch Feinabstimmung wurde die Videoqualität weiter verbessert. Eine Methode namens Modellmittelung (sie kombiniert die Ausgaben mehrerer Modelle für gleichmäßigere und konsistentere Ergebnisse) sorgte für eine höhere Konsistenz der Ausgaben. Abschließend wurde das ursprünglich mit 768p vorliegende Video mithilfe eines räumlichen Upsampling-Verfahrens auf eine scharfe Auflösung von 1080p hochskaliert. Dabei wird die Bildauflösung durch das Hinzufügen von Pixeldaten erhöht, um klarere Bilder zu erzeugen. Das Ergebnis waren hochwertige, detailreiche Videoausgaben.

Die Fähigkeiten von Meta Movie Gen im Überblick#

Die Meta-Movie-Gen-Modelle unterstützen hauptsächlich vier verschiedene Fähigkeiten. Sehen wir uns jede davon genauer an.

Generierung von Video und Audio#

Meta Movie Gen kann hochwertige Videos generieren. Diese Videoclips können bis zu 16 Sekunden lang sein und mit 16 fps (Bildern pro Sekunde) laufen. Aus Text-Prompts entstehen so realistische Bilder, die Bewegung, Interaktionen und Kamerawinkel erfassen. Zusammen mit dem Audiomodell mit 13 Milliarden Parametern kann es synchronisiertes Audio erzeugen, darunter Umgebungsgeräusche, Foley-Effekte und Musik, die zu den Bildern passen.

Diese Kombination sorgt für ein nahtloses, lebensechtes Erlebnis, bei dem Bild und Ton in verschiedenen Szenen und zu unterschiedlichen Prompts abgestimmt und realistisch bleiben. Mit diesen Modellen wurden beispielsweise Videoclips des viralen Zwergflusspferds aus Thailand namens Moo Deng erstellt.

Abb. 4. Ein Einzelbild aus einem mit Metas Movie Gen erstellten Videoclip von Moo Deng.

Personalisierte Videogenerierung#

Eine weitere interessante Fähigkeit des Meta-Movie-Gen-Modells ist die personalisierte Videogenerierung. Nutzer können ein Bild einer Person und einen Text-Prompt eingeben, der beschreibt, wie der Videoclip erstellt werden soll. Dadurch entsteht ein Video, das die Referenzperson enthält und die im Text-Prompt angegebenen umfangreichen visuellen Details einbezieht. Das Modell verwendet beide Eingaben (Bild und Text), um das einzigartige Aussehen und die natürlichen Körperbewegungen der Person beizubehalten und gleichzeitig der im Prompt beschriebenen Szene genau zu folgen.

Abb. 5. Beispiel für die Fähigkeit des Modells zur personalisierten Videogenerierung.

Präzise Videobearbeitung#

Mit dem Movie Gen Edit model können Nutzer sowohl einen Videoclip als auch einen Text-Prompt eingeben, um das Video auf kreative Weise zu bearbeiten. Das Modell kombiniert Videogenerierung mit fortschrittlicher Bildbearbeitung und führt so sehr spezifische Änderungen durch, etwa das Hinzufügen, Entfernen oder Ersetzen von Elementen. Es kann auch globale Änderungen vornehmen, beispielsweise den Hintergrund des Videoclips oder den Gesamtstil verändern. Was das Modell jedoch wirklich einzigartig macht, ist seine Präzision: Es kann ausschließlich die Pixel bearbeiten, die geändert werden müssen, und den Rest unverändert lassen. Dadurch bleibt der ursprüngliche Inhalt weitestgehend erhalten.

Abb. 6. Verschiedene Beispiele für die Videobearbeitungsfunktionen des Movie Gen Edit model.

Die Benchmarking-Tools von Meta Movie Gen#

Zusammen mit den Modellen für generative KI stellte Meta auch Movie Gen Bench vor, eine Sammlung von Benchmarking-Tools zum Testen der Leistung von Modellen für generative KI. Sie umfasst zwei Hauptwerkzeuge: Movie Gen Video Bench und Movie Gen Audio Bench. Beide wurden entwickelt, um verschiedene Aspekte der Video- und Audiogenerierung zu testen.

Hier ist ein kurzer Überblick über beide Tools:

• Movie Gen Video Bench: Es umfasst 1003 Prompts aus einer großen Bandbreite von Testkategorien wie menschlichen Aktivitäten, Tieren, Naturlandschaften, Physik sowie ungewöhnlichen Themen und Aktivitäten. Besonders wertvoll an diesem Bewertungsbenchmark ist die Abdeckung verschiedener Bewegungsintensitäten. Dadurch wird sichergestellt, dass das Videogenerierungsmodell sowohl für schnelle als auch für langsamere Sequenzen getestet wird.
• Movie Gen Audio Bench: Es wurde entwickelt, um die Fähigkeiten zur Audiogenerierung anhand von 527 Prompts zu testen. Diese Prompts werden mit generierten Videos kombiniert, um zu beurteilen, wie gut das Modell Soundeffekte und Musik mit visuellen Inhalten synchronisieren kann.

Abb. 7. Das Diagramm zeigt eine Aufschlüsselung der Bewertungs-Prompts mit einer Liste von Konzepten auf der linken Seite und einer Wortwolke häufig verwendeter Substantive und Verben auf der rechten Seite.

Eine praktische Anwendung von Meta Movie Gen#

Nachdem wir uns angesehen haben, was die Meta-Movie-Gen-Modelle sind und wie sie funktionieren, sehen wir uns nun eine ihrer praktischen Anwendungen an.

KI-Innovationen von Movie Gen im Filmemachen#

Eine der spannendsten Anwendungen von Metas Movie Gen ist die Möglichkeit, das Filmemachen durch KI-gestützte Video- und Audioerstellung zu verändern. Mit Movie Gen können Kreative aus einfachen Text-Prompts hochwertige Bilder und Töne generieren und so neue Wege des Geschichtenerzählens eröffnen.

Tatsächlich arbeitete Meta mit Blumhouse und einer Gruppe von Filmemachern zusammen und holte deren Feedback dazu ein, wie Movie Gen den kreativen Prozess bestmöglich unterstützen kann. Filmemacher wie Aneesh Chaganty, die Spurlock Sisters und Casey Affleck testeten die Fähigkeit des Tools, Stimmung, Ton und visuelle Ausrichtung zu erfassen. Dabei stellten sie fest, dass die Modelle neue Ideen anregen konnten.

Dieses Pilotprogramm hat gezeigt, dass Movie Gen zwar das traditionelle Filmemachen nicht ersetzt, Regisseuren aber eine neue Möglichkeit bietet, schnell und kreativ mit visuellen und akustischen Elementen zu experimentieren. Die Filmemacher schätzten außerdem, dass sie dank der Bearbeitungsfunktionen des Tools freier mit Hintergrundgeräuschen, Effekten und visuellen Stilen spielen konnten.

Abb. 8. Ein Einzelbild aus einem mit Meta Movie Gen erstellten Kurzfilm.

Wichtige Erkenntnisse#

Meta Movie Gen ist ein Schritt nach vorn bei der Nutzung generativer KI zur Erstellung hochwertiger Videos und Töne aus einfachen Textbeschreibungen. Das Tool hilft Nutzern, unkompliziert realistische und individuell angepasste Videos zu erstellen. Mit Funktionen wie präziser Videobearbeitung und personalisierter Mediengenerierung bietet Meta Movie Gen ein flexibles Werkzeugset, das neue Möglichkeiten für Storytelling, Filmemachen und vieles mehr eröffnet. Indem die Erstellung detaillierter und nützlicher Bilder erleichtert wird, verändert Meta Movie Gen die Art und Weise, wie Videos in verschiedenen Bereichen erstellt und genutzt werden, und setzt einen neuen Standard für KI-gestützte Inhaltserstellung.

Weitere Informationen findest du in unserem GitHub-Repository. Du kannst dich außerdem an unserer Community beteiligen. Entdecke AI-Anwendungen in selbstfahrenden Autos und der Landwirtschaft auf unseren Lösungsseiten. 🚀