Meta Movie Gen: reinventare la creazione di contenuti

Che tu sia un aspirante regista o un creator che ama realizzare video per il proprio pubblico, avere strumenti di IA che ampliano la tua creatività è sempre utile. Di recente, Meta ha lanciato il suo ultimo modello di generazione video, chiamato Meta Movie Gen.

Si prevede che il mercato globale dell’IA generativa nel settore dei media e dell’intrattenimento raggiungerà gli 11,57 miliardi di dollari entro il 2033, con aziende come Runway, OpenAI e Meta in prima linea. Meta Movie Gen, in particolare, è ideale per applicazioni come la produzione cinematografica, la creazione di contenuti video e la narrazione digitale, rendendo più facile che mai dare vita a idee creative con video di alta qualità generati dall’IA. In questo articolo esploreremo Meta Movie Gen e il suo funzionamento. Vedremo anche più da vicino alcune delle sue applicazioni.

Fig. 1. Un fotogramma di un video generato con Meta Movie Gen.

Che cos'è Meta Movie Gen?#

Prima di parlare di Meta Movie Gen, vediamo come è nato.

Gli sforzi di ricerca di Meta sull’IA generativa sono iniziati con la serie di modelli Make-A-Scene. Questa ricerca si concentra su un metodo di IA generativa multimodale che aiuta artisti e visionari a dare vita alla propria immaginazione. Gli artisti possono fornire immagini, audio, video o animazioni 3D per ottenere l’immagine desiderata. Il successivo salto innovativo è arrivato con i modelli di diffusione, come i modelli Llama Image Foundation (Emu), che hanno reso possibile generare immagini e video di qualità molto superiore e modificare le immagini.

Fig. 2. Un esempio di generazione di un'immagine con uno schizzo e un testo inseriti in Make-A-Scene.

Movie Gen è il contributo più recente di Meta alla ricerca sull’IA generativa. Combina tutte le modalità menzionate in precedenza e consente un controllo più dettagliato, permettendo alle persone di usare i modelli in modi più creativi. Meta Movie Gen è una raccolta di modelli fondazionali per generare diversi tipi di contenuti multimediali, tra cui video a partire da testo, audio a partire da testo e immagini a partire da testo. È composto da quattro modelli, addestrati su una combinazione di dataset concessi in licenza e disponibili pubblicamente.

Ecco una rapida panoramica di questi modelli:

• Modello Movie Gen Video: un modello da 30 miliardi di parametri che genera video di alta qualità a partire da prompt testuali.
• Modello Movie Gen Audio: un modello da 13 miliardi di parametri in grado di creare colonne sonore sincronizzate con i contenuti video.
• Modello Movie Gen Video personalizzato: genera video di persone specifiche a partire da un prompt testuale e da una singola immagine, mantenendone le sembianze.
• Modello Movie Gen Edit: consente di apportare modifiche dettagliate ai video, reali o di fantasia, tramite testo.

Addestramento del modello video Meta Movie Gen#

La creazione e l’addestramento del modello Movie Gen Video hanno richiesto diversi processi fondamentali. Il primo passaggio è consistito nella raccolta e preparazione di dati visivi, tra cui immagini e clip video, principalmente di attività umane e filtrati in base alla qualità, al movimento e alla pertinenza. I dati sono stati poi abbinati a didascalie testuali che spiegavano cosa accadeva in ogni scena. Le didascalie, generate con il modello Llama 3-Video di Meta, fornivano dettagli approfonditi sul contenuto di ciascuna scena, migliorando le capacità narrative visive del modello.

Fig. 3. Panoramica della pipeline di selezione dei dati di pre-addestramento del modello Movie Gen Video.

Il processo di addestramento è iniziato facendo imparare al modello a trasformare il testo in immagini a bassa risoluzione. In seguito, il modello ha imparato a creare clip video complete combinando l’addestramento da testo a immagine e da testo a video, con immagini di qualità via via superiore.

Uno strumento chiamato autoencoder temporale (TAE) ha compresso i video per gestire in modo efficiente grandi volumi di dati. Il fine-tuning ha ulteriormente migliorato la qualità dei video, mentre un metodo chiamato media dei modelli (che calcola la media di diversi modelli sottoposti a fine-tuning con dati, iperparametri e checkpoint diversi) ha garantito una maggiore coerenza dei risultati. Infine, il video, inizialmente a 768p, è stato portato a una nitida risoluzione 1080p usando una tecnica di sovracampionamento spaziale, che aumenta la risoluzione dell'immagine aggiungendo dati dei pixel per ottenere immagini più nitide. Il risultato è stato un video di alta qualità e ricco di dettagli.

Alla scoperta delle funzionalità di Meta Movie Gen#

I modelli Meta Movie Gen supportano principalmente quattro diverse funzionalità. Vediamole più da vicino.

Generazione di video e audio#

Meta Movie Gen può generare video di alta qualità. Le clip video possono durare fino a 16 secondi e avere una frequenza di 16 fps (fotogrammi al secondo), creando immagini realistiche che riproducono movimento, interazioni e angolazioni della telecamera a partire da prompt testuali. Abbinato al modello audio da 13 miliardi di parametri, può produrre audio sincronizzato, inclusi suoni ambientali, effetti Foley e musica, in linea con le immagini.

Questa configurazione mantiene immagini e audio sincronizzati e realistici in diverse scene e prompt. Per esempio, questi modelli sono stati usati per creare clip video dell’ippopotamo pigmeo thailandese diventato virale, chiamato Moo Deng.

Fig. 4. Un fotogramma di un video di Moo Deng realizzato con Movie Gen di Meta.

Generazione di video personalizzati#

Un’altra interessante capacità del modello Meta Movie Gen è la generazione di video personalizzati. Gli utenti possono fornire l’immagine di una persona e un prompt testuale che descrive come generare la clip video. Il risultato è un video che include la persona di riferimento e incorpora i ricchi dettagli visivi specificati nel prompt. Il modello usa entrambi gli input, immagine e testo, per conservare l’aspetto distintivo e i movimenti naturali della persona, seguendo con precisione la scena descritta nel prompt.

Fig. 5. Un esempio della funzionalità di generazione di video personalizzati del modello.

Montaggio video preciso#

Con il modello Movie Gen Edit, gli utenti possono fornire in input una clip video e un prompt testuale per modificarla in modo creativo. Il modello combina la generazione video con tecniche avanzate di modifica delle immagini per apportare modifiche molto specifiche, come aggiungere, rimuovere o sostituire elementi. Può anche applicare modifiche globali, come cambiare lo sfondo della clip o lo stile generale. Ciò che distingue il modello è la sua precisione: può intervenire solo sui pixel specifici da modificare, lasciando intatto tutto il resto. In questo modo, preserva il più possibile il contenuto originale.

Fig. 6. Vari esempi delle capacità di montaggio video del modello Movie Gen Edit.

Gli strumenti di benchmark di Meta Movie Gen#

Oltre ai modelli di IA generativa, Meta ha presentato anche Movie Gen Bench, una suite di strumenti di benchmarking per testare le prestazioni dei modelli di IA generativa. Include due strumenti principali: Movie Gen Video Bench e Movie Gen Audio Bench. Entrambi sono progettati per testare aspetti diversi della generazione video e audio.

Ecco una breve panoramica di entrambi gli strumenti:

• Movie Gen Video Bench: comprende 1.003 prompt che coprono un’ampia varietà di categorie di test, come attività umane, animali, paesaggi naturali, fisica e soggetti e attività insoliti. Questo benchmark di valutazione è particolarmente utile perché copre diversi livelli di movimento, assicurando che il modello di generazione video venga testato sia con sequenze rapide sia con sequenze più lente.
• Movie Gen Audio Bench: è progettato per testare le capacità di generazione audio attraverso 527 prompt. Questi prompt vengono abbinati a video generati per valutare quanto bene il modello sincronizza gli effetti sonori e la musica con i contenuti visivi.

Fig. 7 Il diagramma mostra la suddivisione dei prompt di valutazione: a sinistra un elenco di concetti e a destra una nuvola di parole con i sostantivi e i verbi più usati.

Un'applicazione pratica di Meta Movie Gen#

Ora che abbiamo visto cosa sono i modelli Meta Movie Gen e come funzionano, esploriamo una delle loro applicazioni pratiche.

Innovazioni di Movie Gen IA nella produzione cinematografica#

Uno degli usi più entusiasmanti di Movie Gen di Meta è la possibilità di trasformare la produzione cinematografica grazie alla creazione di video e audio con l’IA. Con Movie Gen, i creator possono generare immagini e suoni di alta qualità a partire da semplici prompt testuali, aprendo nuove possibilità per raccontare storie.

Meta ha collaborato con Blumhouse e un gruppo di registi per raccogliere i loro pareri su come Movie Gen possa supportare al meglio il processo creativo. Registi come Aneesh Chaganty, le Spurlock Sisters e Casey Affleck hanno testato la capacità dello strumento di catturare atmosfera, tono e direzione visiva. Hanno scoperto che i modelli contribuivano a stimolare nuove idee.

Questo programma pilota ha dimostrato che, pur non sostituendo la produzione cinematografica tradizionale, Movie Gen offre ai registi un nuovo modo di sperimentare in modo rapido e creativo con gli elementi visivi e audio. I registi hanno inoltre apprezzato la possibilità di usare le funzionalità di montaggio dello strumento per modificare più liberamente i suoni di sottofondo, gli effetti e gli stili visivi.

Fig. 8. Un fotogramma di un cortometraggio realizzato con Meta Movie Gen.

Punti chiave#

Meta Movie Gen rappresenta un passo avanti nell’uso dell’IA generativa per creare video e suoni di alta qualità a partire da semplici descrizioni testuali. Lo strumento aiuta gli utenti a creare facilmente video realistici e personalizzati. Grazie a funzionalità come la modifica precisa dei video e la generazione di contenuti multimediali personalizzati, Meta Movie Gen offre un insieme flessibile di strumenti che apre nuove possibilità per la narrazione, la produzione cinematografica e altro ancora. Rendendo più facile creare contenuti visivi dettagliati e utili, Meta Movie Gen sta cambiando il modo in cui i video vengono realizzati e usati in diversi settori.

Per saperne di più, visita il nostro repository GitHub e partecipa alla nostra community. Scopri le applicazioni dell’AI nelle auto a guida autonoma e nell’agricoltura nelle pagine dedicate alle nostre soluzioni.