VBench
VBenchは、被写体の一貫性からプロンプトへの忠実度まで、16の観点でAI生成動画を評価します。各項目の測定内容と結果の読み方を解説します。
VBenchは、テキストから動画を生成するモデルを評価するベンチマークスイートです。生成された動画クリップについて、視覚品質とプロンプトへの忠実度を16の独立した側面から採点します。Nanyang Technological UniversityのS-LabとShanghai AI Laboratoryの研究者が、2023年11月の論文VBench:動画生成モデルのための包括的ベンチマークスイートで導入しました。この論文はCVPR 2024のハイライト論文に選ばれました。公開リーダーボードは、元の論文で扱われたLaVie、ModelScope、VideoCrafter、CogVideoから、後発の拡散Transformerシステムまで、動画生成モデルを比較する際の一般的な参照先になっています。
VBench以前の評価では、動画版のFréchet Inception Distance(FID)にあたるFréchet Video Distanceなど、単一の分布メトリクスが中心でした。これらのメトリクスは実動画と生成動画の特徴統計量を比較するため、動き、アイデンティティ、プロンプトへの追従を一つの数値で表す必要があります。VBenchは品質を複数の項目に分け、モデルが具体的にどの点で不足しているかを開発者が確認できるようにします。また、各項目について、人間が異なるモデルの動画ペアを比較する選好アノテーションを収集し、自動スコアが視聴者と同じ順位でモデルを評価できることを確認しました。
16の評価尺度#
VBenchの評価尺度は、次の2つのグループに分かれます。
- 動画品質:プロンプトを考慮せず、クリップ自体を評価します。時間方向の品質については被写体の一貫性、背景の一貫性、時間的なちらつき、動きの滑らかさ、動きの大きさを評価し、各フレームについては美的品質と画質を評価します。
- 動画と条件の一貫性:クリップをプロンプトと照合して評価します。コンテンツについては物体クラス、複数物体、人間の動作、色、空間的関係、シーンを確認します。スタイルについては外観スタイルと時間的スタイルを確認し、全体的な一貫性も評価します。
動きの度合いは、一貫性の指標とのバランスを取ります。ほぼ静止したクリップは、被写体の一貫性と時間的なちらつきで、ほとんど自動的に高スコアを得られるため、VBenchは実際にどれだけ動きが生じているかも測定します。これらの尺度を合わせて確認することで、動く写真を生成してモデルが高評価を得るのを防げます。
各評価尺度の採点方法#
各項目にはそれぞれ評価器があり、通常はフレームをサンプリングして事前学習済みのビジョンモデルを適用します。被写体の一貫性は、自己教師ありのVision TransformerであるDINOの特徴をフレーム間で比較し、背景の一貫性はCLIPの画像特徴を同様に比較します。時間的なちらつきは、連続するフレーム間のピクセル絶対差の平均です。RAFTのオプティカルフローで選んだ、ほぼ静止したクリップだけを使って測定します。RAFTは動きの大きさも推定します。動きの滑らかさは、フレーム補間モデルAMTが欠落フレームをどれだけ正確に再構成するかで評価します。自然な動きは前後のフレームから予測できるためです。美的品質にはLAIONの美的予測器を使い、画質にはMUSIQモデルを使ってぼけ、ノイズ、露出過多を検出します。
コンテンツ項目では、各フレームに別のモデルを適用します。物体クラス、複数物体、色、空間的関係の評価では、GRiTの物体検出・密なキャプション生成モデルを使い、要求された物体が適切な色と配置で現れているかを確認します。人間の動作にはUMTの動作認識モデルを使います。シーンはTag2Textの画像キャプションとプロンプトを比較し、外観スタイルはCLIPを使ってフレームとスタイルの説明を比較します。また、時間的スタイルと全体的な一貫性は、ViCLIPの動画とテキストの埋め込みを比較します。
各項目の評価には、その項目をテストするために作成した約100個のプロンプトからなるプロンプトスイートを使います。動物、建築、食べ物、人間、ライフスタイル、植物、風景、乗り物の8カテゴリそれぞれに100個、合計800個の別のプロンプトセットを使うと、対象分野ごとに結果を分類できます。リーダーボードでは各項目を正規化し、重み付き品質スコア、重み付き意味スコア、合計スコアを算出します。
VBenchの結果の活用#
Leaderboardのスコアを比較できるのは、モデルを同じサンプリング設定で標準プロンプトスイートに対して実行した場合に限られます。VBenchはスイート外のカスタム動画も採点できますが、参照プロンプトを必要としない6つの次元、すなわち被写体の一貫性、背景の一貫性、動きの滑らかさ、動的度合い、美的品質、画質に限られます。
すべての次元を別のモデルで測定するため、各スコアにはそのモデルの盲点が引き継がれます。小さな物体や珍しい物体を見落とす検出器は、生成動画内のそのような物体も過小に数えます。また、美的品質の予測器には、学習データの好みが反映されます。生成モデルが当初の外観重視の次元で向上するにつれ、同じ研究グループは評価スイートを拡張しました。IEEE TPAMIで発表されたVBench++は、画像から動画への生成、長尺動画、信頼性の評価を追加し、公平性、バイアス、安全性を対象としています。また、2025年3月に公開されたVBench-2.0は、「内在的忠実性」の18次元を、人間の忠実性、制御可能性、創造性、物理、常識に分類して採点します。
生成クリップをビジョンモデル向けの合成トレーニングデータにする場合も、検出器ベースのチェックを活用できます。生成した各フレームにUltralytics YOLO26をpredict modeで実行すると、映像をトレーニングセットに加える前に、要求した物体が実際に映っていることを確認できます。これは、VBenchの物体クラス次元がGRiTを使って行うチェックと同じです。










