Meta Movie Gen: reinventare la creazione di contenuti

Che tu sia un aspirante regista o un creator di contenuti a cui piace realizzare video per il proprio pubblico, avere strumenti di AI che ampliano la tua creatività è sempre utile. Di recente, Meta ha lanciato il suo ultimo modello di generazione video, noto come Meta Movie Gen.

Si prevede che il mercato dell’AI generativa nei settori dei media e dell’intrattenimento raggiungerà gli 11,57 miliardi di dollari entro il 2033, con aziende come Runway, OpenAI e Meta all’avanguardia nell’innovazione. In particolare, Meta Movie Gen è ideale per applicazioni come la realizzazione di film, la creazione di contenuti video e lo storytelling digitale, rendendo più facile che mai trasformare le idee creative in realtà attraverso video di alta qualità generati dall’AI. In questo articolo analizzeremo Meta Movie Gen e il suo funzionamento. Esamineremo inoltre più da vicino alcune delle sue applicazioni. Iniziamo!

Fig. 1. Un fotogramma di un video generato usando Meta Movie Gen.

Che cos’è Meta Movie Gen?#

Prima di discutere che cos’è Meta Movie Gen, vediamo come è nato.

Le attività di ricerca di Meta relative all’AI generativa sono iniziate con la serie Make-A-Scene di modelli. Questa ricerca si concentra su un metodo di AI generativa multimodale che aiuta artisti e visionari a dare vita alla propria immaginazione. Gli artisti possono inserire immagini, audio, video o animazioni 3D per ottenere l’immagine desiderata. Il passo successivo nell’innovazione è arrivato con i modelli di diffusione, come i modelli Llama Image Foundation (Emu), che hanno reso possibile generare immagini e video di qualità molto superiore e modificare le immagini.

Fig. 2. Un esempio dell’utilizzo dello schizzo e dell’input testuale di Make-A-Scene per ottenere un’immagine generata.

Movie Gen è il contributo più recente di Meta alla ricerca sull’AI generativa. Combina tutte le modalità menzionate in precedenza e consente un controllo più preciso, così le persone possono utilizzare i modelli in modi più creativi. Meta Movie Gen è una raccolta di modelli fondamentali per generare diversi tipi di media, tra cui testo-video, testo-audio e testo-immagine. È composta da quattro modelli, addestrati su una combinazione di dataset concessi in licenza e disponibili pubblicamente.

Ecco una rapida panoramica di questi modelli:

• Modello Movie Gen Video: un modello da 30 miliardi di parametri che genera video di alta qualità da prompt testuali.
• Modello Movie Gen Audio: un modello da 13 miliardi di parametri in grado di creare colonne sonore sincronizzate con i contenuti video.
• Modello Movie Gen Video personalizzato: genera video di persone specifiche sulla base di un prompt testuale e di una singola immagine, mantenendone le sembianze.
• Modello Movie Gen Edit: consente di apportare modifiche dettagliate basate sul testo a video reali e di fantasia.

Addestramento del modello video Meta Movie Gen#

Per creare e addestrare il modello Movie Gen Video sono stati necessari diversi processi fondamentali. Il primo passaggio ha previsto la raccolta e la preparazione di dati visivi, comprese immagini e clip video, principalmente di attività umane, filtrati in base a qualità, movimento e rilevanza. I dati sono stati poi abbinati a didascalie testuali che spiegavano cosa stava accadendo in ogni scena. Le didascalie, generate usando il modello LLaMa3-Video di Meta, fornivano dettagli approfonditi sul contenuto di ogni scena, migliorando le capacità del modello di raccontare storie visive.

Fig. 3. Panoramica della pipeline di selezione dei dati di pre-addestramento del modello Movie Gen Video.

Il processo di addestramento è iniziato con l’apprendimento da parte del modello della trasformazione del testo in immagini a bassa risoluzione. È poi proseguito con la creazione di clip video complete attraverso una combinazione di addestramento testo-immagine e testo-video, utilizzando elementi visivi di qualità sempre maggiore.

Uno strumento chiamato codificatore automatico temporale (TAE) ha compresso i video per gestire in modo efficiente grandi volumi di dati. L’ottimizzazione ha reso ulteriormente più nitida la qualità video, mentre un metodo chiamato media dei modelli (combina gli output di più modelli per ottenere risultati più uniformi e coerenti) ha garantito una maggiore coerenza dell’output. Infine, il video, inizialmente a 768p, è stato portato a una risoluzione nitida di 1080p usando una tecnica di sovracampionamento spaziale, che aumenta la risoluzione dell’immagine aggiungendo dati dei pixel per ottenere elementi visivi più chiari. Il risultato è stato un output video dettagliato e di alta qualità.

Esplorazione delle funzionalità di Meta Movie Gen#

I modelli Meta Movie Gen supportano principalmente quattro funzionalità diverse. Esaminiamole più da vicino.

Generazione di video e audio#

Meta Movie Gen può generare video di alta qualità. Queste clip video possono durare fino a 16 secondi e avere una frequenza di 16 fps (fotogrammi al secondo), creando elementi visivi realistici che catturano movimento, interazioni e angolazioni della fotocamera a partire da prompt testuali. In combinazione con il modello audio da 13 miliardi di parametri, può produrre audio sincronizzato, inclusi suoni ambientali, effetti Foley e musica, in linea con gli elementi visivi.

Questa configurazione garantisce un’esperienza fluida e realistica, in cui elementi visivi e audio rimangono allineati e realistici in diverse scene e con diversi prompt. Ad esempio, questi modelli sono stati utilizzati per creare clip video del virale ippopotamo pigmeo thailandese chiamato Moo Deng.

Fig. 4. Un fotogramma di una clip video di Moo Deng realizzata usando Movie Gen di Meta.

Generazione di video personalizzati#

Un’altra funzionalità interessante del modello Meta Movie Gen è la generazione di video personalizzati. Gli utenti possono fornire l’immagine di una persona e un prompt testuale che descrive come deve essere generata la clip video, ottenendo un video che include la persona di riferimento e incorpora i ricchi dettagli visivi specificati nel prompt testuale. Il modello utilizza entrambi gli input (immagine e testo) per mantenere l’aspetto unico e i movimenti naturali del corpo della persona, seguendo accuratamente la scena descritta nel prompt.

Fig. 5. Un esempio della funzionalità di generazione di video personalizzati del modello.

Editing video preciso#

Usando il modello Movie Gen Edit, gli utenti possono fornire in input sia una clip video sia un prompt testuale per modificare il video in modo creativo. Il modello combina la generazione video con l’editing avanzato delle immagini per eseguire modifiche molto specifiche, come aggiungere, rimuovere o sostituire elementi. Può anche apportare modifiche globali, come cambiare lo sfondo della clip video o lo stile generale. Ciò che rende il modello davvero unico, però, è la sua precisione: può intervenire solo sui pixel specifici che richiedono modifiche, lasciando intatto il resto. In questo modo preserva il più possibile il contenuto originale.

Fig. 6. Vari esempi delle funzionalità di editing video del modello Movie Gen Edit.

Gli strumenti di benchmarking di Meta Movie Gen#

Oltre ai modelli di AI generativa, Meta ha introdotto anche Movie Gen Bench, una suite di strumenti di benchmarking per testare le prestazioni dei modelli di AI generativa. Include due strumenti principali: Movie Gen Video Bench e Movie Gen Audio Bench. Entrambi sono progettati per testare diversi aspetti della generazione di video e audio.

Ecco una panoramica di entrambi gli strumenti:

• Movie Gen Video Bench: è composto da 1003 prompt che coprono un’ampia varietà di categorie di test, come attività umane, animali, paesaggi naturali, fisica, oltre a soggetti e attività insoliti. Questo benchmark di valutazione è particolarmente prezioso perché copre diversi livelli di movimento, assicurando che il modello di generazione video venga testato sia su sequenze rapide sia su sequenze più lente.
• Movie Gen Audio Bench: è progettato per testare le capacità di generazione audio attraverso 527 prompt. Questi prompt vengono associati a video generati per valutare quanto bene il modello riesca a sincronizzare effetti sonori e musica con i contenuti visivi.

Fig. 7. Il diagramma mostra un’analisi dei prompt di valutazione, con un elenco di concetti a sinistra e una nuvola di parole contenente i nomi e i verbi più utilizzati a destra.

Un’applicazione pratica di Meta Movie Gen#

Ora che abbiamo illustrato cosa sono i modelli Meta Movie Gen e come funzionano, esploriamo una delle loro applicazioni pratiche.

Le innovazioni di Movie Gen AI nella realizzazione di film#

Uno degli utilizzi più entusiasmanti di Movie Gen di Meta è la sua capacità di trasformare la realizzazione di film attraverso la creazione di video e audio basata sull’AI. Con Movie Gen, i creator possono generare elementi visivi e suoni di alta qualità a partire da semplici prompt testuali, aprendo nuovi modi di raccontare storie.

Infatti, Meta ha collaborato con Blumhouse e un gruppo di registi, raccogliendo il loro feedback su come Movie Gen possa supportare al meglio il processo creativo. Registi come Aneesh Chaganty, le Spurlock Sisters e Casey Affleck hanno testato la capacità dello strumento di catturare atmosfera, tono e direzione visiva. Hanno scoperto che i modelli contribuivano a generare nuove idee.

Questo programma pilota ha dimostrato che, sebbene Movie Gen non sostituisca la realizzazione cinematografica tradizionale, offre ai registi un nuovo modo di sperimentare rapidamente e creativamente con elementi visivi e audio. I registi hanno inoltre apprezzato il fatto che le funzionalità di editing dello strumento consentano loro di giocare più liberamente con suoni di sottofondo, effetti e stili visivi.

Fig. 8. Un fotogramma di un cortometraggio creato usando Meta Movie Gen.

Punti chiave#

Meta Movie Gen rappresenta un passo avanti nell’uso dell’AI generativa per creare video e suoni di alta qualità a partire da semplici descrizioni testuali. Lo strumento aiuta gli utenti a creare facilmente video realistici e personalizzati. Grazie a funzionalità come l’editing video preciso e la generazione di media personalizzati, Meta Movie Gen offre un insieme flessibile di strumenti che apre nuove possibilità per lo storytelling, la realizzazione di film e molto altro. Rendendo più semplice creare elementi visivi dettagliati e utili, Meta Movie Gen sta trasformando il modo in cui i video vengono realizzati e utilizzati in diversi settori, stabilendo un nuovo standard per la creazione di contenuti basata sull’AI.

Per saperne di più, visita il nostro repository GitHub e partecipa alla nostra community. Scopri le applicazioni dell'AI nelle auto a guida autonoma e nell'agricoltura nelle nostre pagine dedicate alle soluzioni. 🚀