Meta Movie Gen: Reimmaginare la creazione di contenuti

Che siate aspiranti registi o creatori di contenuti che si divertono a realizzare video per il proprio pubblico, avere a disposizione strumenti di IA che espandano la vostra creatività è sempre utile. Recentemente Meta ha lanciato il suo ultimo modello di video generativo, noto come Meta Movie Gen. 

Si prevede che il mercato globale dell 'IA generativa nei media e nell'intrattenimento raggiungerà 11,57 miliardi di dollari entro il 2033, con aziende come Runway, OpenAI e Meta alla guida di innovazioni rivoluzionarie. Meta Movie Gen, in particolare, è ideale per applicazioni come la cinematografia, la creazione di contenuti video e la narrazione digitale, rendendo più facile che mai dare vita a visioni creative attraverso video di alta qualità generati dall'intelligenza artificiale. In questo articolo esploreremo Meta Movie Gen e il suo funzionamento. Inoltre, daremo un'occhiata più da vicino ad alcune delle sue applicazioni. Iniziamo!

‍

Che cos'è il Meta Movie Gen?

Prima di parlare di cosa sia Meta Movie Gen, diamo un'occhiata a come è nato. 

L'impegno di Meta nella ricerca sull'IA generativa è iniziato con la serie di modelli Make-A-Scene. Questa ricerca si concentra su un metodo di IA generativa multimodale che aiuta artisti e visionari a dare vita alla loro immaginazione. Gli artisti possono inserire immagini, audio, video o animazioni 3D per ottenere il risultato desiderato. Il salto successivo nell'innovazione è avvenuto con modelli di diffusione come quelli della Llama Image Foundation(Emu), che hanno permesso di generare immagini e video di qualità molto più elevata e hanno consentito l'editing delle immagini.

‍

Movie Gen è l'ultimo contributo di Meta alla ricerca sull'intelligenza artificiale generativa. Combina tutte le modalità precedentemente menzionate e consente un ulteriore controllo a grana fine, in modo che le persone possano utilizzare i modelli in modi più creativi. Meta Movie Gen è una raccolta di modelli fondamentali per la generazione di diversi tipi di media, tra cui testo-video, testo-audio e testo-immagine. Si compone di quattro modelli, addestrati su una combinazione di set di dati disponibili pubblicamente e su licenza. 

Ecco una rapida panoramica di questi modelli:

• Modello video Movie Gen: Un modello da 30 miliardi di parametri che genera video di alta qualità a partire da richieste di testo.
  ‍
• Modello audio Movie Gen: Un modello da 13 miliardi di parametri in grado di creare colonne sonore sincronizzate con i contenuti video.
  ‍
• Modello di Video Gen Personalizzato: Genera video di persone specifiche sulla base di una richiesta di testo e di una singola immagine, conservando le loro sembianze.
  ‍
• Modello Movie Gen Edit: Il modello consente di effettuare modifiche video dettagliate e basate su testo per video reali e di fantasia. 

Formazione del modello video Meta Movie Gen

Per la creazione e l'addestramento del modello Movie Gen Video sono stati coinvolti diversi processi chiave. La prima fase ha comportato la raccolta e la preparazione di dati visivi, tra cui immagini e filmati, principalmente di attività umane filtrate per qualità, movimento e rilevanza. I dati sono stati poi abbinati a didascalie di testo che spiegavano cosa stava accadendo in ogni scena. Le didascalie, generate con il modello LLaMa3-Video di Meta, hanno fornito ricchi dettagli sul contenuto di ogni scena, migliorando le capacità di narrazione visiva del modello.

‍

Il processo di addestramento è iniziato con l'apprendimento del modello per trasformare il testo in immagini a bassa risoluzione. Poi è passato alla creazione di video clip completi attraverso una combinazione di addestramento da testo a immagine e da testo a video, utilizzando immagini di qualità sempre maggiore. 

Uno strumento chiamato Temporal Autoencoder (TAE) ha compresso i video per gestire in modo efficiente grandi volumi di dati. La messa a punto ha migliorato ulteriormente la qualità del video e un metodo chiamato model averaging (che combina più modelli di output per ottenere risultati più uniformi e coerenti) ha garantito una maggiore coerenza dell'output. Infine, il video, inizialmente a 768p, è stato portato a una risoluzione di 1080p utilizzando una tecnica di upsampler spaziale, che aumenta la risoluzione dell'immagine aggiungendo dati ai pixel per ottenere immagini più chiare. Il risultato è stato un output video dettagliato e di alta qualità.

Esplorare le capacità di Meta Movie Gen

I modelli Meta Movie Gen supportano principalmente quattro diverse abilità. Diamo un'occhiata più da vicino a ciascuna di esse.

Generazione di video e audio

Meta Movie Gen può generare video di alta qualità. Questi video possono durare fino a 16 secondi e girare a 16 fps (fotogrammi al secondo), creando immagini realistiche che catturano il movimento, le interazioni e le angolazioni della telecamera a partire da messaggi di testo. Abbinato al modello audio da 13 miliardi di parametri, è in grado di produrre audio sincronizzato, compresi suoni ambientali, effetti Foley e musica, da abbinare alle immagini. 

Questa configurazione garantisce un'esperienza realistica e senza soluzione di continuità, in cui sia le immagini che l'audio rimangono allineati e realistici nelle varie scene e richieste. Ad esempio, questi modelli sono stati utilizzati per creare videoclip dell'ippopotamo pigmeo virale della Thailandia, chiamato Moo Deng.

‍

Generazione di video personalizzati

Un'altra interessante funzionalità del modello Meta Movie Gen è la generazione di video personalizzati. Gli utenti possono fornire l'immagine di una persona e una richiesta di testo che descrive come dovrebbe essere generato il videoclip, ottenendo un video che include la persona di riferimento e incorpora i ricchi dettagli visivi specificati nella richiesta di testo. Il modello utilizza entrambi gli input (immagine e testo) per mantenere l'aspetto unico della persona e i movimenti naturali del corpo, seguendo accuratamente la scena descritta nel prompt.

‍

Montaggio video preciso 

Utilizzando il modello Movie Gen Edit, gli utenti possono fornire come input sia un video clip che una richiesta di testo per modificare il video in modo creativo. Il modello combina la generazione di video con la modifica avanzata delle immagini per eseguire modifiche molto specifiche, come l'aggiunta, la rimozione o la sostituzione di elementi. Può anche eseguire modifiche globali, come modificare lo sfondo del videoclip o lo stile generale. Ma ciò che rende il modello davvero unico è la sua precisione: è in grado di indirizzare solo i pixel specifici che devono essere modificati, lasciando inalterato il resto. In questo modo si preserva il più possibile il contenuto originale. 

‍

Strumenti di benchmarking di Meta Movie Gen

Oltre ai modelli di IA generativa, Meta ha presentato anche Movie Gen Bench, una suite di strumenti di benchmarking per testare le prestazioni dei modelli di IA generativa. Si tratta di due strumenti principali: Movie Gen Video Bench e Movie Gen Audio Bench. Entrambi sono progettati per testare diversi aspetti della generazione di video e audio.

Ecco una panoramica di entrambi gli strumenti:

• Movie Gen Video Bench: È composto da 1003 richieste che coprono un'ampia varietà di categorie di test, come attività umane, animali, scenari naturali, fisica, nonché soggetti e attività insolite. Ciò che rende questo benchmark di valutazione particolarmente prezioso è la copertura dei livelli di movimento, che garantisce che il modello di generazione video sia testato sia per le sequenze veloci che per quelle lente.
  ‍
• Movie Gen Audio Bench: È stato progettato per testare le capacità di generazione audio di 527 richieste. Queste richieste sono abbinate a video generati per valutare la capacità del modello di sincronizzare gli effetti sonori e la musica con il contenuto visivo.

‍

Un'applicazione pratica del Meta Movie Gen

Ora che abbiamo analizzato cosa sono e come funzionano i modelli Meta Movie Gen, analizziamo una delle loro applicazioni pratiche. 

Movie Gen Innovazioni dell'intelligenza artificiale nella cinematografia

Uno degli usi più interessanti di Movie Gen di Meta è il modo in cui può trasformare il filmmaking attraverso la creazione di video e audio con l'intelligenza artificiale. Con Movie Gen, i creatori possono generare immagini e suoni di alta qualità da semplici richieste di testo, aprendo nuovi modi di raccontare storie. 

Meta ha infatti collaborato con Blumhouse e un gruppo di registi, raccogliendo il loro feedback su come Movie Gen possa supportare al meglio il processo creativo. Registi come Aneesh Chaganty, le Spurlock Sisters e Casey Affleck hanno testato la capacità dello strumento di catturare l'atmosfera, il tono e la direzione visiva. Hanno scoperto che i modelli hanno contribuito a stimolare nuove idee.

Questo programma pilota ha dimostrato che Movie Gen non sostituisce la regia tradizionale, ma offre ai registi un nuovo modo di sperimentare con elementi visivi e audio in modo rapido e creativo. I registi hanno anche apprezzato il fatto che le funzioni di editing dello strumento permettano loro di giocare più liberamente con i suoni di sottofondo, gli effetti e gli stili visivi. 

‍

Punti di forza

Meta Movie Gen è un passo avanti nell'utilizzo dell'intelligenza artificiale generativa per creare video e suoni di alta qualità a partire da semplici descrizioni di testo. Lo strumento aiuta gli utenti a creare facilmente video realistici e personalizzati. Grazie a funzionalità come l'editing video preciso e la generazione di media personalizzati, Meta Movie Gen offre un set di strumenti flessibili che aprono nuove possibilità per la narrazione, il filmmaking e non solo. Semplificando la creazione di immagini dettagliate e utili, Meta Movie Gen sta trasformando il modo in cui i video vengono realizzati e utilizzati in diversi settori, stabilendo un nuovo standard per la creazione di contenuti guidati dall'intelligenza artificiale.

Per saperne di più, visitate il nostro repository GitHub e partecipate alla nostra comunità. Esplorate le applicazioni dell'intelligenza artificiale nelle auto a guida autonoma e nell'agricoltura sulle nostre pagine dedicate alle soluzioni. 🚀