Generare video con Veo di Google DeepMind

Durante la presentazione del Google's 2024 I/O del 14 maggio, sono stati condivisi gli ultimi aggiornamenti di DeepMind, la loro divisione IA. Uno dei progressi più entusiasmanti condivisi è stato il loro nuovissimo modello di generazione video, Veo. Veo può creare video a 1080P di alta qualità basati su prompt di testo, immagini e video. Ti consente persino di modificare i video generati con prompt successivi. Veo porta l'IA generativa a un livello superiore. Diamo un'occhiata più da vicino alle funzionalità offerte da Veo.

Comprendere le capacità di Veo#

Veo è un modello di generazione video che utilizza una profonda comprensione del linguaggio e della grafica per creare video che corrispondono fedelmente alla visione creativa dell'utente. È in grado di catturare accuratamente il tono e i dettagli di prompt più lunghi, rendendolo uno strumento potente per i creatori che desiderano trasformare le proprie idee in contenuti video precisi.

L'utente può avere un controllo creativo rivoluzionario sul video generato perché Veo può comprendere tecniche cinematografiche come il "timelapse" e le "riprese aeree di un paesaggio". Questo controllo creativo rende possibile agli utenti creare video in cui persone, animali e oggetti si muovono naturalmente. I video generati da Veo sono coinvolgenti e visivamente attraenti perché è difficile notare che sono generati da un modello AI.

Veo va oltre la semplice creazione di video da prompt. Se fornisci un video precedentemente generato e una richiesta di modifica specifica, come l'inserimento di kayak in una vista aerea di una costa, Veo può integrare perfettamente questa modifica nel video originale, producendo una versione aggiornata.

Fig 1. Un esempio di editing video tramite Veo.

Ecco alcune altre funzionalità offerte da Veo:

• Editing con maschera: Veo può aiutarti a modificare aree definite di un video.
• Creazione di video ispirata alle immagini: Utilizzando un'immagine e un prompt di testo, Veo può generare video che rispecchiano lo stile dell'immagine e seguono le indicazioni del prompt.
• Clip video estese: Veo può creare ed estendere clip video fino a 60 secondi o più, sia da un singolo prompt che da una sequenza di prompt che insieme raccontano una storia.

Video mozzafiato generati da Veo#

Analizziamo alcuni dei video che Veo ha generato e perché sono così mozzafiato.

Generare un video timelapse da un breve prompt di testo è una sfida. Di solito, il breve prompt di testo non riesce a trasmettere accuratamente cambiamenti e movimenti all'interno della scena del timelapse. Pertanto, è sorprendente che Veo possa capire cosa aspettarsi da un timelapse senza entrare nei dettagli.

Fig 2. Un fotogramma del video in time-lapse generato da Veo.

Allo stesso modo, generare video con una fisica accurata non è semplice. Il modello AI deve comprendere e simulare le leggi della fisica come gravità, momento e collisioni per rendere i movimenti e le interazioni realistici. È impressionante che Veo sia in grado di modellare accuratamente queste dinamiche senza una guida dettagliata dai prompt di testo.

Fig 3. Un fotogramma da un video generato utilizzando Veo cattura accuratamente la fisica del movimento delle meduse.

Fino ad ora, abbiamo visto solo video più brevi generati dall'AI a causa di limitazioni computazionali e della complessità nel mantenere la coerenza su sequenze più lunghe. Alla presentazione di Google I/O 2024 è stata mostrata l'incredibile capacità di Veo di creare video più lunghi e complessi.

Fig 4. Fotogrammi dal video Veo più lungo mostrato alla presentazione del Google 2024 I/O.

Come funziona Veo?#

Come molti altri modelli AI, Veo poggia sulle spalle dei giganti. Attinge da progressi precedenti come Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet e Lumiere, oltre all'architettura Transformer proprietaria di Google e Gemini. Inoltre, per migliorare la capacità di Veo di interpretare accuratamente i prompt, le didascalie di ogni video nel suo set di dati di addestramento erano più dettagliate.

Basandosi sul flusso di lavoro approssimativo del modello condiviso da Google, ecco come funziona Veo:

• Prompt di input: Fornisci un prompt di testo e, opzionalmente, un prompt di immagine.
• Codifica: Il prompt di testo viene elaborato da un codificatore UL2 e il prompt di immagine viene elaborato da un codificatore di immagini.
• Prompt integrato: Gli output dei codificatori di testo e immagine vengono combinati per formare un singolo prompt integrato.
• Modello di diffusione latente: Il prompt integrato e un video compresso rumoroso vengono passati a questo modello che genera un video compresso utilizzandoli. Veo utilizza rappresentazioni video compresse di alta qualità, note come latenti, per migliorare l'efficienza mantenendo la qualità.
• Decodifica: Il passaggio finale decodifica l'output video 1080p dal video compresso.

Fig 5. Come funziona Veo.

Un caso di studio avvincente nel cinema#

Per testare le capacità di Veo, Google ha collaborato con il regista Donald Glover e il suo studio creativo, Gilga. Hanno utilizzato Veo per esplorare varie tecniche creative, inclusi i carrelli dinamici, che richiedono un movimento preciso e un'inquadratura coerente.

Fig 6. Utilizzo di Veo nel processo di produzione cinematografica.

Tradizionalmente, i registi affrontano limitazioni dovute a vincoli di tempo e risorse. Con Veo, Glover e il suo team hanno potuto sperimentare rapidamente e generare riprese complesse, il che, a sua volta, ha fornito maggiore flessibilità e innovazione nel processo cinematografico.

Con Veo, Glover e il suo team hanno potuto sperimentare rapidamente e generare riprese complesse prima delle riprese effettive. Ad esempio, potevano testare vari carrelli dinamici per vedere come apparirebbero e apportare modifiche secondo necessità. Questo processo di pre-visualizzazione li ha aiutati a rifinire le loro idee e garantire che le riprese funzionassero come previsto, riducendo infine il numero di riprese necessarie durante le riprese effettive. Sono riusciti a creare un caso di studio avvincente per dimostrare il potenziale di Veo nel cambiare l'industria cinematografica. Offre un modo più rapido ed efficiente per dare vita a visioni creative.

Usi pratici di Veo in vari settori#

Le avanzate capacità di generazione video di Veo hanno applicazioni pratiche in molti settori. Nella pubblicità, può produrre rapidamente spot pubblicitari personalizzati di alta qualità per pubblici mirati, risparmiando tempo e costi di produzione. Nell'istruzione, Veo può creare video didattici coinvolgenti, rendendo concetti complessi più facili da comprendere.

Le aziende possono utilizzare Veo per la formazione e le comunicazioni aziendali. I professionisti della sanità potrebbero usare Veo per simulare procedure mediche a scopo di addestramento. Per quanto riguarda eventi virtuali e conferenze, Veo può creare simulazioni realistiche di sedi e palchi, offrendo ai partecipanti un'esperienza coinvolgente e interattiva da qualsiasi luogo. Gli organizzatori traggono vantaggio da una maggiore portata e da preziosi spunti per eventi futuri. Grazie a Veo, si sono aperte innumerevoli opportunità.

Quando un modello AI ha il potenziale per toccare diversi settori, è importante tenere a mente la sicurezza e l'AI etica. Per consentire un'adozione più ampia e garantire un uso responsabile, Google ha implementato diverse misure di sicurezza. I video creati da Veo sono filigranati utilizzando SynthID, uno strumento per filigranare e identificare contenuti generati dall'AI. SynthID garantisce trasparenza e aiuta a mitigare i rischi di privacy, copyright e pregiudizio. Oltre a questo, tutti i video generati passano attraverso filtri di sicurezza e processi di controllo della memorizzazione. Queste tutele rendono Veo uno strumento prezioso ed etico che supporta una produzione video responsabile e innovativa.

Dove accedere a Veo#

Nelle prossime settimane, Google inizierà a offrire alcune delle funzionalità rivoluzionarie di Veo a creator selezionati tramite VideoFX, un nuovo strumento disponibile su labs.google. Questa iniziativa consente l'accesso anticipato alle avanzate capacità di generazione video di Veo, offrendo ai creator l'opportunità di sperimentare con le sue funzioni innovative. La lista d'attesa per Veo è attualmente aperta, invitando i creator interessati a iscriversi e a utilizzare i potenti strumenti di Veo nei loro progetti.

Altro sugli aggiornamenti dell'AI generativa del 2024 di DeepMind#

Oltre a Veo, DeepMind ha introdotto diversi aggiornamenti all'avanguardia nell'IA generativa per il 2024. Uno di questi aggiornamenti è Imagen 3, il loro modello da testo a immagine più avanzato di sempre. Imagen 3 eccelle nella creazione di immagini fotorealistiche e realistiche. Comprende profondamente i prompt in linguaggio naturale e cattura dettagli intricati riducendo al minimo gli artefatti visivi.

Fig 7. Un'immagine generata utilizzando Imagen 3.

DeepMind ha anche sviluppato Lyria, il suo modello più avanzato per la generazione di musica tramite IA. Come parte di questo sforzo, DeepMind ha creato una suite di strumenti musicali basati su IA chiamata Music AI Sandbox. Questi strumenti consentono a musicisti e produttori di esplorare nuove possibilità creative nella composizione musicale e nella trasformazione del suono.

Fig 8. Un esempio di interfaccia utente degli strumenti musicali di IA di DeepMind.

Analogamente a Veo, DeepMind ha implementato diverse misure di sicurezza anche riguardo ai suoi altri aggiornamenti. Il SynthID verrà utilizzato in questi aggiornamenti come strumento per filigranare e identificare contenuti generati dall'AI. Questi aggiornamenti di DeepMind promettono di trasformare vari settori offrendo strumenti avanzati, efficienti e responsabili per creare contenuti visivi e audio di alta qualità.

Navigare nella prossima fase dell'AI generativa#

I progressi dell'AI generativa del 2024 di DeepMind, inclusi Veo, Imagen 3 e Lyria, segnano un notevole salto nelle capacità dell'AI. Veo trasforma la creazione video con la sua capacità di generare video 1080p di alta qualità da semplici prompt, rendendolo uno strumento versatile per registi e creatori di contenuti. Imagen 3 brilla nella produzione di immagini fotorealistiche, mentre Lyria introduce nuove possibilità nella generazione musicale con strumenti AI avanzati.

Queste tecnologie promettono di trasformare vari settori fornendo strumenti efficienti e responsabili per creare contenuti visivi e audio di alta qualità. Con misure di sicurezza come SynthID che garantiscono un uso etico, DeepMind continua ad espandere i confini dell'AI, aprendo la strada a innovazioni future.

Immergiti nell'IA visitando il nostro repository GitHub e unendoti alla nostra community. Esplora le pagine delle nostre soluzioni per scoprire come l'IA viene applicata nella produzione industriale e nell'agricoltura.