Generare video con Veo di Google DeepMind

Durante la presentazione Google I/O 2024 del 14 maggio, Google ha condiviso gli ultimi aggiornamenti di DeepMind, la sua divisione dedicata all'IA. Uno degli annunci principali è stato un nuovo modello di generazione video, Veo. Veo può creare video 1080p di alta qualità a partire da prompt testuali, immagini e video. Permette persino di modificare i video generati usando prompt successivi. Vediamo più da vicino le funzionalità offerte da Veo.

Comprendere le funzionalità di Veo#

Veo è un modello di generazione video che sfrutta una profonda comprensione del linguaggio e delle immagini per creare video in linea con la visione creativa dell'utente. È in grado di cogliere con precisione il tono e i dettagli di prompt più lunghi, diventando così uno strumento potente per chi vuole trasformare le proprie idee in contenuti video precisi.

L'utente può esercitare un controllo creativo dettagliato sul video generato, perché Veo comprende tecniche cinematografiche come il «timelapse» e le «riprese aeree di un paesaggio». Questo controllo creativo permette agli utenti di creare video in cui persone, animali e oggetti si muovono in modo naturale. I video generati da Veo sono coinvolgenti e visivamente accattivanti, perché è difficile capire che sono stati creati da un modello di IA.

Veo non si limita a creare video a partire da prompt. Se fornisci un video generato in precedenza e una richiesta di modifica specifica, per esempio inserire kayak in una vista aerea della costa, Veo può integrare la modifica nel video originale e produrne una versione aggiornata.

Fig. 1. Un esempio di editing video con Veo.

Ecco alcune altre funzionalità offerte da Veo:

• Modifica con maschera: Veo può aiutarti a modificare aree specifiche di un video.
• Creazione di video ispirati a un'immagine: usando un'immagine e un prompt testuale, Veo può generare video che riprendono lo stile dell'immagine e seguono le indicazioni del prompt.
• Estensione delle clip video: Veo può creare ed estendere clip video fino a 60 secondi o più, partendo da un singolo prompt o da una sequenza di prompt che insieme raccontano una storia.

Video mozzafiato generati da Veo#

Vediamo alcuni dei video generati da Veo e scopriamo cosa li rende notevoli.

Generare un video in timelapse a partire da un breve prompt testuale è difficile. In genere, un prompt breve non riesce a descrivere con precisione i cambiamenti e i movimenti della scena in timelapse. È quindi notevole che Veo riesca a capire cosa aspettarsi da un timelapse senza bisogno di entrare nei dettagli.

Fig. 2. Un fotogramma del video timelapse generato da Veo.

Allo stesso modo, generare video con una fisica accurata non è semplice. Il modello AI deve comprendere e simulare le leggi della fisica, come la gravità, la quantità di moto e le collisioni, per rendere realistici i movimenti e le interazioni. È notevole che Veo riesca a modellare queste dinamiche con precisione senza indicazioni dettagliate nei prompt testuali.

Fig. 3. Un fotogramma di un video generato con Veo riproduce con precisione la fisica del movimento delle meduse.

Finora, a causa dei limiti computazionali e della complessità di mantenere la coerenza nelle sequenze più lunghe, abbiamo visto solo video brevi generati dall'IA. Durante la presentazione Google I/O 2024 è stata mostrata la capacità di Veo di creare video più lunghi e articolati.

Fig. 4. Fotogrammi del video più lungo di Veo mostrato durante la presentazione di Google I/O 2024.

Come funziona Veo?#

Come molti altri modelli di AI, Veo beneficia dei progressi di chi lo ha preceduto. Si basa su innovazioni precedenti come Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet e Lumiere, oltre che sull'architettura Transformer di Google e su Gemini. Inoltre, per migliorare la capacità di Veo di interpretare con precisione i prompt, le didascalie dei video nel dataset di addestramento erano più dettagliate.

Ecco come funziona Veo, sulla base del flusso di lavoro del modello descritto in linea generale da Google:

• Prompt di input: fornisci un prompt testuale e, facoltativamente, un prompt con un'immagine.
• Codifica: il prompt testuale viene elaborato da un encoder UL2, mentre il prompt con l'immagine viene elaborato da un encoder di immagini.
• Prompt incorporato: gli output degli encoder di testo e immagini vengono combinati per formare un singolo prompt incorporato.
• Modello di diffusione latente: il prompt incorporato e un video compresso rumoroso vengono passati a questo modello, che li usa per generare un video compresso. Veo utilizza rappresentazioni compresse di video di alta qualità, dette latenti, per migliorare l'efficienza mantenendo la qualità.
• Decodifica: il passaggio finale decodifica l'output video a 1080p a partire dal video compresso.

Fig. 5. Come funziona Veo.

Un caso di studio avvincente nel cinema#

Per mettere alla prova le capacità di Veo, Google ha collaborato con il filmmaker Donald Glover e il suo studio creativo, Gilga. Hanno usato Veo per esplorare diverse tecniche creative, tra cui le riprese di inseguimento dinamiche, che richiedono movimenti precisi e un'inquadratura costante.

Fig. 6. Veo nel processo di produzione cinematografica.

Tradizionalmente, i registi sono soggetti a limiti di tempo e risorse. Con Veo, Glover e il suo team hanno potuto sperimentare rapidamente e generare riprese complesse, ottenendo così maggiore flessibilità e innovazione nel processo di realizzazione cinematografica.

Per esempio, prima delle riprese vere e proprie, potevano provare varie riprese dinamiche con movimento di tracciamento, osservarne il risultato e apportare le modifiche necessarie. Questo processo di previsualizzazione li ha aiutati a perfezionare le idee e a verificare che le riprese funzionassero come previsto, riducendo così il numero di ciak necessari durante le riprese. Sono riusciti a creare un caso di studio convincente per dimostrare il potenziale di Veo nel trasformare l'industria cinematografica. Veo offre un modo più rapido ed efficiente per dare vita alle visioni creative.

Applicazioni pratiche di Veo in diversi settori#

Le avanzate capacità di generazione video di Veo hanno applicazioni pratiche in molti settori. Nella pubblicità, può produrre rapidamente spot personalizzati e di alta qualità per il pubblico di riferimento, riducendo tempi e costi di produzione. Nell'istruzione, Veo può creare video didattici coinvolgenti, rendendo più facili da comprendere i concetti complessi.

Le aziende possono usare Veo per la formazione e le comunicazioni aziendali. I professionisti della sanità potrebbero usare Veo per simulare procedure mediche a scopo formativo. Per gli eventi e le conferenze virtuali, Veo può creare simulazioni realistiche di sedi e palchi, offrendo ai partecipanti un'esperienza coinvolgente e interattiva da qualsiasi luogo. Gli organizzatori possono raggiungere un pubblico più ampio e ottenere informazioni preziose per gli eventi futuri.

Quando un modello di IA può avere un impatto su diversi settori, è importante tenere presenti la sicurezza e l'etica dell'IA. Per favorirne un'adozione più ampia e garantirne un uso responsabile, Google ha implementato diverse misure di sicurezza. I video creati da Veo vengono filigranati con SynthID, uno strumento per aggiungere filigrane e identificare i contenuti generati dall'IA. SynthID promuove la trasparenza e aiuta a mitigare i rischi legati alla privacy, al copyright e ai pregiudizi. Inoltre, tutti i video generati vengono sottoposti a filtri di sicurezza e a controlli della memorizzazione. Queste misure di protezione sono pensate per favorire una produzione video responsabile.

Dove accedere a Veo#

Al momento del lancio, Google ha dichiarato che avrebbe iniziato a offrire alcune funzionalità di Veo a creator selezionati tramite VideoFX, un nuovo strumento disponibile su labs.google, dando loro accesso anticipato per sperimentare le capacità di generazione video. È stata aperta una lista d'attesa per Veo a cui i creator interessati potevano iscriversi.

Altri aggiornamenti di DeepMind del 2024 sull'AI generativa#

Oltre a Veo, DeepMind ha presentato diversi aggiornamenti nell'ambito dell'IA generativa per il 2024. Uno di questi è Imagen 3, all'epoca il suo modello text-to-image più avanzato. Imagen 3 è particolarmente efficace nel creare immagini fotorealistiche e realistiche. Comprende a fondo i prompt in linguaggio naturale e cattura dettagli complessi riducendo al minimo gli artefatti visivi.

Fig. 7. Un'immagine generata con Imagen 3.

DeepMind ha sviluppato anche Lyria, il suo modello più avanzato per la generazione musicale con l'AI. Nell'ambito di questo progetto, DeepMind ha creato una suite di strumenti musicali basati sull'AI chiamata Music AI Sandbox. Questi strumenti consentono a musicisti e produttori di esplorare nuove possibilità creative nella composizione musicale e nella trasformazione del suono.

Fig. 8. Un esempio dell'interfaccia utente degli strumenti musicali AI di DeepMind.

Come per Veo, DeepMind ha implementato diverse misure di sicurezza anche per gli altri aggiornamenti. SynthID verrà usato in tutti questi aggiornamenti per aggiungere filigrane e identificare i contenuti generati dall'AI. Gli aggiornamenti di DeepMind promettono di trasformare diversi settori offrendo strumenti avanzati, efficienti e responsabili per la creazione di contenuti visivi e audio di alta qualità.

Affrontare la prossima fase dell'AI generativa#

I progressi di DeepMind nell'AI generativa nel 2024, tra cui Veo, Imagen 3 e Lyria, segnano un notevole salto in avanti nelle capacità dell'AI. Veo trasforma la creazione di video grazie alla sua capacità di generare video di alta qualità in 1080p a partire da semplici prompt, diventando uno strumento versatile per filmmaker e creator di contenuti. Imagen 3 si distingue nella produzione di immagini fotorealistiche, mentre Lyria apre nuove possibilità nella generazione musicale con strumenti AI avanzati.

Queste tecnologie promettono di trasformare diversi settori offrendo strumenti efficienti e responsabili per la creazione di contenuti visivi e audio di alta qualità. Grazie a misure di sicurezza come SynthID, che ne garantiscono l'uso etico, DeepMind continua ad ampliare i confini dell'AI, aprendo la strada ad applicazioni innovative per il futuro.

Immergiti nell'AI visitando il nostro repository GitHub ed entrando nella nostra community. Esplora le pagine delle nostre soluzioni per scoprire come viene applicata l'AI nell'industria manifatturiera e nell'agricoltura.