Licenza YOLO
Torna al glossario di Ultralytics

VBench

VBench valuta i video generati dall'AI su 16 dimensioni, dalla coerenza dei soggetti alla fedeltà al prompt. Cosa misura ciascuna dimensione e come interpretare i risultati.

VBench è una suite di benchmark per la generazione da testo a video che valuta le clip generate su 16 dimensioni distinte di qualità visiva e aderenza ai prompt. I ricercatori dell'S-Lab della Nanyang Technological University e dello Shanghai AI Laboratory l'hanno presentata nel novembre 2023 nell'articolo VBench: Comprehensive Benchmark Suite for Video Generative Models, selezionato come highlight paper al CVPR 2024. Da allora, la classifica pubblica è diventata un punto di riferimento comune per confrontare i modelli di generazione video: dai modelli LaVie, ModelScope, VideoCrafter e CogVideo dell'articolo originale ai successivi sistemi diffusion transformer.

Prima di VBench, la valutazione si basava su metriche di distribuzione singole, come la Fréchet Video Distance, la controparte video della Fréchet Inception Distance (FID). Queste metriche confrontano le statistiche delle feature di clip reali e generate, quindi un solo numero deve rappresentare contemporaneamente movimento, identità e aderenza ai prompt. VBench scompone la qualità in singole dimensioni, così gli sviluppatori possono individuare con precisione i punti deboli di un modello; i suoi autori hanno inoltre raccolto annotazioni sulle preferenze umane per ogni dimensione, confrontando coppie di video generati da modelli diversi, per verificare che ogni punteggio automatico classifichi i modelli come fanno gli spettatori.

Le 16 dimensioni#

Le dimensioni di valutazione di VBench si dividono in due gruppi:

  • Qualità del video: valuta la clip in sé, senza considerare il prompt: coerenza del soggetto, coerenza dello sfondo, sfarfallio temporale, fluidità del movimento e grado di dinamismo per la qualità nel tempo; qualità estetica e qualità dell'immagine per ogni fotogramma.
  • Coerenza tra video e condizione: confronta la clip con il prompt. Per il contenuto verifica la classe degli oggetti, gli oggetti multipli, l'azione umana, il colore, le relazioni spaziali e la scena; per lo stile verifica lo stile visivo e quello temporale; valuta inoltre la coerenza complessiva.

Il grado di dinamismo bilancia le metriche di coerenza. Un clip quasi statico ottiene facilmente un buon punteggio in coerenza del soggetto e sfarfallio temporale, perciò VBench misura anche quanto movimento si verifica davvero. Considerare queste dimensioni nel loro insieme impedisce a un modello di ottenere un buon punteggio generando fotografie in movimento.

Come si valuta ciascuna dimensione#

Ogni dimensione ha il proprio valutatore, di solito un modello di visione preaddestrato applicato a fotogrammi campionati. La coerenza del soggetto confronta tra i fotogrammi le feature di DINO, un Vision Transformer auto-supervisionato, mentre la coerenza dello sfondo fa lo stesso con le feature delle immagini di CLIP. Lo sfarfallio temporale è la differenza assoluta media tra i pixel di fotogrammi consecutivi; viene misurato solo su clip quasi statiche selezionate con il flusso ottico RAFT, che stima anche il movimento per il grado di dinamismo. La fluidità del movimento verifica quanto bene un modello di interpolazione dei fotogrammi, AMT, ricostruisce i fotogrammi rimossi, dato che il movimento naturale è prevedibile a partire dai fotogrammi vicini. La qualità estetica usa il predittore estetico LAION e la qualità dell'immagine usa il modello MUSIQ per rilevare sfocatura, rumore e sovraesposizione.

Per le dimensioni relative al contenuto si eseguono altri modelli sui fotogrammi. Classe degli oggetti, oggetti multipli, colore e relazioni spaziali usano il modello GRiT di rilevamento degli oggetti e didascalie dense per verificare che gli oggetti richiesti compaiano con i colori e la disposizione corretti. L'azione umana usa il modello UMT di riconoscimento delle azioni, la scena confronta il prompt con le didascalie delle immagini generate da Tag2Text, lo stile visivo confronta i fotogrammi con la descrizione dello stile usando CLIP e lo stile temporale e la coerenza complessiva confrontano gli embedding video e testuali di ViCLIP.

Ogni dimensione si basa su una serie di circa 100 prompt scritti per metterla alla prova. Un insieme separato di 800 prompt, 100 in ciascuna di otto categorie (animali, architettura, cibo, persone, stile di vita, piante, paesaggi e veicoli), consente di suddividere i risultati in base al soggetto. La classifica normalizza ogni dimensione e le combina in un punteggio ponderato di qualità, un punteggio semantico ponderato e un punteggio totale.

Usare i risultati di VBench#

I punteggi della classifica sono confrontabili solo se i modelli vengono eseguiti con la suite di prompt standard e le stesse impostazioni di campionamento. VBench può valutare anche video personalizzati al di fuori di questa suite, ma solo sulle sei dimensioni che non richiedono un prompt di riferimento: coerenza del soggetto, coerenza dello sfondo, fluidità del movimento, grado di dinamismo, qualità estetica e qualità dell'immagine.

Poiché ogni dimensione viene misurata da un altro modello, ogni punteggio eredita i punti ciechi di quel modello. Un rilevatore che non individua oggetti piccoli o insoliti li sottostima anche nei video generati, mentre un predittore estetico riflette i gusti dei dati su cui è stato addestrato. Man mano che i generatori miglioravano sulle dimensioni originali, incentrate sull'aspetto, lo stesso gruppo ha ampliato la suite. VBench++, pubblicato su IEEE TPAMI, aggiunge la valutazione da immagine a video, dei video lunghi e dell'affidabilità, coprendo l'equità, i bias e la sicurezza; VBench-2.0, pubblicato a marzo 2025, valuta 18 dimensioni di «fedeltà intrinseca», suddivise in fedeltà umana, controllabilità, creatività, fisica e senso comune.

I controlli basati sui rilevatori sono utili anche quando le clip generate diventano dati sintetici di addestramento per un modello di visione. Eseguire Ultralytics YOLO26 in modalità di predizione su ogni fotogramma generato conferma che gli oggetti richiesti siano effettivamente presenti prima che il filmato entri in un set di addestramento: è lo stesso controllo che VBench esegue con GRiT nella dimensione relativa alla classe dell'oggetto.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning