Video Generation
La generazione video consiste nella sintesi di nuove clip video a partire da testo, immagini o filmati esistenti, tramite modelli generativi che mantengono coerente il movimento nel tempo.
La generazione video consiste nell'uso di modelli di IA generativa per sintetizzare nuovi video: sequenze di fotogrammi in cui oggetti, illuminazione e movimento restano coerenti da un fotogramma al successivo. Un modello può partire da un prompt testuale, un'immagine fissa da animare, una clip esistente da rielaborare o estendere oppure, come nei modelli del mondo, da fotogrammi precedenti e azioni. Rispetto a una singola immagine generata, una clip di cinque secondi a 24 fotogrammi al secondo contiene 120 immagini che devono essere coerenti tra loro; errori invisibili in un singolo fotogramma, come una mano a cui cambia il numero di dita, diventano sfarfallii o deformazioni quando i fotogrammi vengono riprodotti. La comprensione video e il tracciamento degli oggetti operano nella direzione opposta, analizzando filmati già esistenti.
In meno di un decennio, il campo è passato da clip brevissime a clip della durata di un minuto. Il VGAN del 2016 di Carl Vondrick, Hamed Pirsiavash e Antonio Torralba, una rete generativa avversaria, produceva circa un secondo di video 64×64 generando separatamente uno sfondo statico e un primo piano in movimento. Jonathan Ho e i suoi colleghi di Google hanno esteso i modelli di diffusione ai video nell'aprile 2022; Make-A-Video di Meta e Imagen Video di Google sono arrivati nell'autunno dello stesso anno, mentre Sora di OpenAI, presentato in anteprima a febbraio 2024, ha generato clip della durata massima di un minuto. Modelli con pesi aperti come HunyuanVideo di Tencent (dicembre 2024) e Wan 2.1 di Alibaba (febbraio 2025) hanno reso possibile eseguire e perfezionare localmente la stessa architettura.
Come funzionano i modelli di generazione video#
La maggior parte dei sistemi attuali è costituita da modelli di diffusione latente composti da tre parti. Un autoencoder video comprime la clip sia nello spazio sia nel tempo, ottenendo un tensore latente molto più piccolo, perché rimuovere il rumore dai pixel grezzi di centinaia di fotogrammi sarebbe troppo costoso. Una rete di rimozione del rumore, oggi di solito un trasformatore di diffusione (DiT), divide quel latente in patch spazio-temporali, le unità su cui opera Sora di OpenAI, e rimuove il rumore passo dopo passo; l'attenzione collega ogni patch alle patch degli altri fotogrammi, così un soggetto mantiene la propria forma mentre si muove. Il decoder dell'autoencoder trasforma quindi il latente privo di rumore in fotogrammi.
I modelli precedenti adottavano soluzioni meno costose per ottenere coerenza temporale. Molti inserivano livelli di attenzione temporale, che confrontano la stessa posizione tra i fotogrammi, in una U-Net da testo a immagine preaddestrata; così la rete riutilizzava ciò che sapeva sull'aspetto e apprendeva solo il movimento. Imagen Video concatenava un modello di base con modelli separati di super-risoluzione spaziale e temporale, che aumentavano gradualmente la risoluzione e la frequenza dei fotogrammi. Lumiere di Google (2024) generava l'intera clip in un unico passaggio con una U-Net spazio-temporale, sostenendo che le pipeline che generano prima fotogrammi chiave distanti tra loro faticano a mantenere un movimento coerente a livello globale. I video lunghi o interattivi vengono spesso generati autoregressivamente, un blocco alla volta, condizionando ciascun blocco sui fotogrammi precedenti; è proprio questo il tipo di impostazione per cui vengono addestrati metodi come diffusion forcing.
Tipi di generazione video#
- Da testo a video: genera una clip a partire dal solo prompt scritto.
- Da immagine a video: anima un'immagine fissa, mantenendola come primo fotogramma; in questo modo offre controllo sulla composizione e sul soggetto.
- Da video a video: rielabora lo stile, modifica o estende una clip esistente mantenendone il movimento; è uno strumento fondamentale per il montaggio video con IA.
- Audio e video insieme: Veo 3 di Google (maggio 2025) e Sora 2 di OpenAI (settembre 2025) generano dialoghi, effetti sonori e musica sincronizzati con le immagini.
- Modelli del mondo: predicono i fotogrammi successivi a partire da quelli attuali e da un'azione, come un comando di sterzata o il movimento di un braccio robotico, così il video reagisce ai comandi.
Applicazioni#
Le équipe cinematografiche e pubblicitarie usano generatori come Veo di Google DeepMind e Movie Gen di Meta per la previsualizzazione e per realizzare inquadrature che sarebbero costose da filmare, nell'ambito di un più ampio passaggio verso l'IA nella produzione cinematografica. Gli sviluppatori di IA fisica generano filmati di guida e robotica che mostrano eventi rari: i modelli fondazionali del mondo Cosmos di NVIDIA, rilasciati a gennaio 2025, producono video per addestrare veicoli autonomi e robot, mentre GAIA-1 di Wayve genera scene di guida condizionate dal testo e dalle azioni del veicolo. Una volta etichettati i fotogrammi delle clip generate, queste diventano dati sintetici per i modelli di percezione; quando una dataset della Ultralytics Platform riceve una clip generata, la campiona a 1 fotogramma al secondo, fino a 100 fotogrammi, e salva ciascun fotogramma come immagine pronta per l'annotazione.
Limiti e valutazione#
I video generati violano ancora le leggi della fisica e la permanenza degli oggetti. OpenAI ha dichiarato che Sora non modella con precisione interazioni come la rottura del vetro; gli oggetti generati possono attraversarsi, comparire dal nulla o sparire dietro un occlusore. Il costo di calcolo cresce con la risoluzione e la durata, perciò la maggior parte dei modelli genera clip di pochi secondi e le estende gradualmente. La valutazione è passata da un singolo punteggio di distribuzione, la Fréchet Video Distance, equivalente per i video della Fréchet Inception Distance (FID), a suite come VBench, che valutano 16 dimensioni, dalla coerenza dei soggetti alla fedeltà al prompt. Anche gli output realistici possono essere usati per creare deepfake, perciò i fornitori contrassegnano i video generati con filigrane IA e Content Credentials: Google incorpora una filigrana SynthID invisibile in ogni video Veo.










