Licenza YOLO
Torna al glossario di Ultralytics

Video Generation

La generazione video consiste nella sintesi di nuove clip video a partire da testo, immagini o filmati esistenti, tramite modelli generativi che mantengono coerente il movimento nel tempo.

La generazione video consiste nell'uso di modelli di IA generativa per sintetizzare nuovi video: sequenze di fotogrammi in cui oggetti, illuminazione e movimento restano coerenti da un fotogramma al successivo. Un modello può partire da un prompt testuale, un'immagine fissa da animare, una clip esistente da rielaborare o estendere oppure, come nei modelli del mondo, da fotogrammi precedenti e azioni. Rispetto a una singola immagine generata, una clip di cinque secondi a 24 fotogrammi al secondo contiene 120 immagini che devono essere coerenti tra loro; errori invisibili in un singolo fotogramma, come una mano a cui cambia il numero di dita, diventano sfarfallii o deformazioni quando i fotogrammi vengono riprodotti. La comprensione video e il tracciamento degli oggetti operano nella direzione opposta, analizzando filmati già esistenti.

In meno di un decennio, il campo è passato da clip brevissime a clip della durata di un minuto. Il VGAN del 2016 di Carl Vondrick, Hamed Pirsiavash e Antonio Torralba, una rete generativa avversaria, produceva circa un secondo di video 64×64 generando separatamente uno sfondo statico e un primo piano in movimento. Jonathan Ho e i suoi colleghi di Google hanno esteso i modelli di diffusione ai video nell'aprile 2022; Make-A-Video di Meta e Imagen Video di Google sono arrivati nell'autunno dello stesso anno, mentre Sora di OpenAI, presentato in anteprima a febbraio 2024, ha generato clip della durata massima di un minuto. Modelli con pesi aperti come HunyuanVideo di Tencent (dicembre 2024) e Wan 2.1 di Alibaba (febbraio 2025) hanno reso possibile eseguire e perfezionare localmente la stessa architettura.

Come funzionano i modelli di generazione video#

La maggior parte dei sistemi attuali è costituita da modelli di diffusione latente composti da tre parti. Un autoencoder video comprime la clip sia nello spazio sia nel tempo, ottenendo un tensore latente molto più piccolo, perché rimuovere il rumore dai pixel grezzi di centinaia di fotogrammi sarebbe troppo costoso. Una rete di rimozione del rumore, oggi di solito un trasformatore di diffusione (DiT), divide quel latente in patch spazio-temporali, le unità su cui opera Sora di OpenAI, e rimuove il rumore passo dopo passo; l'attenzione collega ogni patch alle patch degli altri fotogrammi, così un soggetto mantiene la propria forma mentre si muove. Il decoder dell'autoencoder trasforma quindi il latente privo di rumore in fotogrammi.

I modelli precedenti adottavano soluzioni meno costose per ottenere coerenza temporale. Molti inserivano livelli di attenzione temporale, che confrontano la stessa posizione tra i fotogrammi, in una U-Net da testo a immagine preaddestrata; così la rete riutilizzava ciò che sapeva sull'aspetto e apprendeva solo il movimento. Imagen Video concatenava un modello di base con modelli separati di super-risoluzione spaziale e temporale, che aumentavano gradualmente la risoluzione e la frequenza dei fotogrammi. Lumiere di Google (2024) generava l'intera clip in un unico passaggio con una U-Net spazio-temporale, sostenendo che le pipeline che generano prima fotogrammi chiave distanti tra loro faticano a mantenere un movimento coerente a livello globale. I video lunghi o interattivi vengono spesso generati autoregressivamente, un blocco alla volta, condizionando ciascun blocco sui fotogrammi precedenti; è proprio questo il tipo di impostazione per cui vengono addestrati metodi come diffusion forcing.

Tipi di generazione video#

  • Da testo a video: genera una clip a partire dal solo prompt scritto.
  • Da immagine a video: anima un'immagine fissa, mantenendola come primo fotogramma; in questo modo offre controllo sulla composizione e sul soggetto.
  • Da video a video: rielabora lo stile, modifica o estende una clip esistente mantenendone il movimento; è uno strumento fondamentale per il montaggio video con IA.
  • Audio e video insieme: Veo 3 di Google (maggio 2025) e Sora 2 di OpenAI (settembre 2025) generano dialoghi, effetti sonori e musica sincronizzati con le immagini.
  • Modelli del mondo: predicono i fotogrammi successivi a partire da quelli attuali e da un'azione, come un comando di sterzata o il movimento di un braccio robotico, così il video reagisce ai comandi.

Applicazioni#

Le équipe cinematografiche e pubblicitarie usano generatori come Veo di Google DeepMind e Movie Gen di Meta per la previsualizzazione e per realizzare inquadrature che sarebbero costose da filmare, nell'ambito di un più ampio passaggio verso l'IA nella produzione cinematografica. Gli sviluppatori di IA fisica generano filmati di guida e robotica che mostrano eventi rari: i modelli fondazionali del mondo Cosmos di NVIDIA, rilasciati a gennaio 2025, producono video per addestrare veicoli autonomi e robot, mentre GAIA-1 di Wayve genera scene di guida condizionate dal testo e dalle azioni del veicolo. Una volta etichettati i fotogrammi delle clip generate, queste diventano dati sintetici per i modelli di percezione; quando una dataset della Ultralytics Platform riceve una clip generata, la campiona a 1 fotogramma al secondo, fino a 100 fotogrammi, e salva ciascun fotogramma come immagine pronta per l'annotazione.

Limiti e valutazione#

I video generati violano ancora le leggi della fisica e la permanenza degli oggetti. OpenAI ha dichiarato che Sora non modella con precisione interazioni come la rottura del vetro; gli oggetti generati possono attraversarsi, comparire dal nulla o sparire dietro un occlusore. Il costo di calcolo cresce con la risoluzione e la durata, perciò la maggior parte dei modelli genera clip di pochi secondi e le estende gradualmente. La valutazione è passata da un singolo punteggio di distribuzione, la Fréchet Video Distance, equivalente per i video della Fréchet Inception Distance (FID), a suite come VBench, che valutano 16 dimensioni, dalla coerenza dei soggetti alla fedeltà al prompt. Anche gli output realistici possono essere usati per creare deepfake, perciò i fornitori contrassegnano i video generati con filigrane IA e Content Credentials: Google incorpora una filigrana SynthID invisibile in ogni video Veo.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning