Generare video con Veo di Google DeepMind

Durante la presentazione Google I/O 2024 del 14 maggio, Google ha condiviso gli ultimi aggiornamenti di DeepMind, la sua divisione dedicata all’AI. Uno degli sviluppi più entusiasmanti presentati è stato il suo più recente modello generativo per video, Veo. Veo può creare video 1080P di alta qualità a partire da prompt testuali, immagini e video. Consente persino di modificare i video generati usando prompt successivi. Veo porta l’AI generativa a un livello superiore. Diamo un’occhiata più da vicino alle funzionalità offerte da Veo.

Comprendere le capacità di Veo#

Veo è un modello generativo per video che utilizza una comprensione approfondita del linguaggio e degli elementi visivi per creare video che corrispondono fedelmente alla visione creativa dell’utente. È in grado di cogliere con precisione il tono e i dettagli di prompt più lunghi, diventando uno strumento potente per i creator che vogliono trasformare le proprie idee in contenuti video precisi.

L’utente può esercitare un controllo creativo rivoluzionario sul video generato, perché Veo comprende tecniche cinematografiche come "timelapse" e "riprese aeree di un paesaggio". Questo controllo creativo consente di creare video in cui persone, animali e oggetti si muovono in modo naturale. I video generati da Veo sono coinvolgenti e visivamente attraenti, perché è difficile riconoscere che siano stati generati da un modello di AI.

Veo va oltre la semplice creazione di video a partire dai prompt. Se fornisci un video generato in precedenza e una richiesta di modifica specifica, come inserire kayak in una vista aerea di una costa, Veo può integrare perfettamente questa modifica nel video originale, producendo una versione aggiornata.

Fig. 1 Un esempio di editing video con Veo.

Ecco altre funzionalità offerte da Veo:

• Editing con maschere: Veo può aiutarti a modificare aree definite di un video.
• Creazione di video ispirati a immagini: usando un’immagine e un prompt testuale, Veo può generare video che rispecchiano lo stile dell’immagine e seguono le indicazioni del prompt.
• Clip video estese: Veo può creare ed estendere clip video fino a 60 secondi o più, partendo da un singolo prompt o da una sequenza di prompt che insieme raccontano una storia.

Video mozzafiato generati da Veo#

Vediamo alcuni dei video generati da Veo e scopriamo perché sono così mozzafiato.

Generare un video in timelapse a partire da un breve prompt testuale è difficile. In genere, un prompt testuale breve non riesce a descrivere con precisione i cambiamenti e i movimenti all’interno della scena in timelapse. È quindi sorprendente che Veo riesca a capire cosa aspettarsi da un timelapse senza entrare nei dettagli.

Fig. 2 Un fotogramma del video in timelapse generato da Veo.

Allo stesso modo, generare video con una fisica accurata non è semplice. Il modello di AI deve comprendere e simulare le leggi della fisica, come gravità, quantità di moto e collisioni, per rendere realistici i movimenti e le interazioni. È impressionante che Veo riesca a modellare accuratamente queste dinamiche senza indicazioni dettagliate nei prompt testuali.

Fig. 3 Un fotogramma di un video generato con Veo cattura accuratamente la fisica del movimento delle meduse.

Finora abbiamo visto solo video più brevi generati dall’AI, a causa dei limiti computazionali e della complessità nel mantenere la coerenza lungo sequenze più estese. Durante la presentazione Google I/O 2024 è stata mostrata la straordinaria capacità di Veo di creare video più lunghi e articolati.

Fig. 4 Fotogrammi del video più lungo di Veo mostrato durante la presentazione Google I/O 2024.

Come funziona Veo?#

Come molti altri modelli di AI, Veo si basa sui progressi di chi lo ha preceduto. Attinge a sviluppi precedenti come la rete di query generative (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet e Lumiere, oltre all’architettura proprietaria Transformer di Google e a Gemini. Inoltre, per migliorare la capacità di Veo di interpretare accuratamente i prompt, le didascalie di ciascun video nel suo dataset di addestramento erano più dettagliate.

In base al flusso di lavoro generale del modello condiviso da Google, ecco come funziona Veo:

• Prompt di input: fornisci un prompt testuale e, facoltativamente, un prompt basato su un’immagine.
• Codifica: il prompt testuale viene elaborato da un encoder UL2, mentre il prompt basato sull’immagine viene elaborato da un encoder per immagini.
• Prompt incorporato: gli output degli encoder testuale e per immagini vengono combinati per formare un unico prompt incorporato.
• Modello di diffusione latente: il prompt incorporato e un video compresso rumoroso vengono passati a questo modello, che li utilizza per generare un video compresso. Veo usa rappresentazioni di video compresse e di alta qualità, note come latenti, per migliorare l’efficienza mantenendo la qualità.
• Decodifica: l’ultimo passaggio decodifica l’output video 1080p dal video compresso.

Fig. 5 Come funziona Veo.

Un caso di studio significativo nel filmmaking#

Per testare le capacità di Veo, Google ha collaborato con il filmmaker Donald Glover e il suo studio creativo, Gilga. Hanno usato Veo per esplorare diverse tecniche creative, tra cui le riprese con camera tracking dinamico, che richiedono movimenti precisi e un’inquadratura coerente.

Fig. 6 L’uso di Veo nel processo di filmmaking.

Tradizionalmente, i filmmaker devono affrontare limitazioni dovute ai vincoli di tempo e risorse. Con Veo, Glover e il suo team hanno potuto sperimentare rapidamente e generare riprese complesse, ottenendo così maggiore flessibilità e innovazione nel processo di filmmaking.

Con Veo, Glover e il suo team hanno potuto sperimentare rapidamente e generare riprese complesse prima delle riprese effettive. Ad esempio, potevano testare diverse riprese con camera tracking dinamico per vedere come sarebbero risultate e apportare le modifiche necessarie. Questo processo di previsualizzazione li ha aiutati a perfezionare le idee e ad assicurarsi che le riprese funzionassero come previsto, riducendo infine il numero di ciak necessari durante le riprese effettive. Sono riusciti a creare un caso di studio significativo per dimostrare il potenziale di Veo nel trasformare l’industria cinematografica. Offre un modo più rapido ed efficiente per dare vita alle visioni creative.

Usi pratici di Veo in diversi settori#

Le funzionalità avanzate di generazione video di Veo hanno applicazioni pratiche in molti settori. Nella pubblicità, può produrre rapidamente spot personalizzati e di alta qualità per pubblici mirati, riducendo tempi e costi di produzione. Nell’istruzione, Veo può creare video didattici coinvolgenti, rendendo più semplici da comprendere i concetti complessi.

Le aziende possono usare Veo per la formazione e le comunicazioni aziendali. I professionisti della sanità potrebbero usare Veo per simulare procedure mediche a scopo formativo. Per quanto riguarda gli eventi virtuali e le conferenze, Veo può creare simulazioni realistiche di sedi e palchi, offrendo ai partecipanti un’esperienza coinvolgente e interattiva da qualsiasi luogo. Gli organizzatori beneficiano di una portata più ampia e di informazioni preziose per gli eventi futuri. Grazie a Veo, si sono aperte innumerevoli opportunità.

Quando un modello di AI ha il potenziale per interessare diversi settori, è importante tenere presenti la sicurezza e l’uso etico dell’AI. Per favorire un’adozione più ampia e garantire un utilizzo responsabile, Google ha implementato diverse misure di sicurezza. I video creati da Veo vengono contrassegnati con SynthID, uno strumento per aggiungere filigrane e identificare i contenuti generati dall’AI. SynthID garantisce la trasparenza e contribuisce a mitigare i rischi legati a privacy, copyright e bias. Inoltre, tutti i video generati passano attraverso filtri di sicurezza e processi di verifica della memorizzazione. Queste misure di protezione rendono Veo uno strumento prezioso ed etico, a supporto di una produzione video responsabile e innovativa.

Dove accedere a Veo#

Nelle prossime settimane, Google inizierà a offrire alcune delle funzionalità rivoluzionarie di Veo a creator selezionati tramite VideoFX, un nuovo strumento disponibile su labs.google. Questa iniziativa consente di accedere in anteprima alle funzionalità avanzate di generazione video di Veo, dando ai creator l’opportunità di sperimentare le sue caratteristiche innovative. La lista d’attesa per Veo è attualmente aperta e invita i creator interessati a registrarsi e a usare i potenti strumenti di Veo nei propri progetti.

Approfondimento sugli aggiornamenti dell’AI generativa di DeepMind del 2024#

Oltre a Veo, DeepMind ha introdotto diversi aggiornamenti all’avanguardia nell’ambito dell’AI generativa per il 2024. Uno di questi è Imagen 3, il suo modello text-to-image più avanzato di sempre. Imagen 3 eccelle nella creazione di immagini fotorealistiche e realistiche. Comprende in profondità i prompt in linguaggio naturale e cattura dettagli intricati riducendo al minimo gli artefatti visivi.

Fig. 7 Un’immagine generata con Imagen 3.

DeepMind ha sviluppato anche Lyria, il suo modello più avanzato per la generazione musicale tramite AI. Nell’ambito di questo progetto, DeepMind ha creato una suite di strumenti musicali basati sull’AI chiamata Music AI Sandbox. Questi strumenti consentono a musicisti e produttori di esplorare nuove possibilità creative nella composizione musicale e nella trasformazione del suono.

Fig. 8 Un esempio dell’interfaccia utente degli strumenti musicali basati sull’AI di DeepMind.

Analogamente a Veo, DeepMind ha implementato diverse misure di sicurezza anche per gli altri aggiornamenti. SynthID verrà utilizzato in tutti questi aggiornamenti come strumento per aggiungere filigrane e identificare i contenuti generati dall’AI. Questi aggiornamenti di DeepMind promettono di trasformare diversi settori offrendo strumenti avanzati, efficienti e responsabili per la creazione di contenuti visivi e audio di alta qualità.

Affrontare la prossima fase dell’AI generativa#

I progressi dell’AI generativa di DeepMind nel 2024, tra cui Veo, Imagen 3 e Lyria, segnano un notevole salto nelle capacità dell’AI. Veo trasforma la creazione di video grazie alla capacità di generare video 1080p di alta qualità a partire da semplici prompt, diventando uno strumento versatile per filmmaker e creator di contenuti. Imagen 3 eccelle nella produzione di immagini fotorealistiche, mentre Lyria introduce nuove possibilità nella generazione musicale con strumenti AI avanzati.

Queste tecnologie promettono di trasformare diversi settori fornendo strumenti efficienti e responsabili per la creazione di contenuti visivi e audio di alta qualità. Grazie a misure di sicurezza come SynthID, che garantiscono un utilizzo etico, DeepMind continua ad ampliare i confini dell’AI, aprendo la strada ad applicazioni innovative per il futuro.

Immergiti nell’AI visitando il nostro repository GitHub e unendoti alla nostra community. Esplora le nostre pagine dedicate alle soluzioni per scoprire come l’AI viene applicata nella produzione e nell’agricoltura.