VBench

VBenchは、複数の品質指標とユーザー指示との整合性に基づいてAI生成動画を評価するベンチマークスイートです。単に動画が「見栄えがよいか」だけを問うのではなく、対象が一貫して描かれているか、動きが滑らかにつながっているか、動画が指定された内容を表現しているかを調べます。そのため、動画生成システムを比較し、見栄えのよい動画でも実用的なタスクには適さない理由を理解するのに役立ちます。

VBenchの評価対象#

テキストから動画への生成を評価するには、個々のフレームと時間経過に伴う変化の両方を調べる必要があります。オリジナルのVBench評価フレームワークでは、視覚品質と入力プロンプトとの一貫性を対象とする16の評価指標が定義されています。これらの指標により、単一の総合スコアよりも有益な評価プロファイルが得られます。(vchitect.github.io)

次の3つのグループに分けると、概念を理解しやすくなります。

• 視覚品質： 画像品質ではぼやけやノイズなどの欠陥を評価し、美的品質では視覚的な魅力や構図を評価します。鮮明なフレームが必ずしも魅力的とは限りません。
• 時間的品質： 対象と背景の一貫性では、外観が安定して保たれているかを評価します。動きの滑らかさでは動作の連続性を調べ、時間的なちらつきではフレーム間に生じる不要な変動を確認します。
• プロンプトとの整合性： 内容の評価では、指定された物体、動作、色、シーン、空間的な関係を確認します。たとえば、犬が近くのどこかに現れるだけでなく、実際に自転車の横を走っているかを調べます。

対象の一貫性はアイデンティティの保持に関係します。キャラクターは、動いたり視点が変わったりしても、同一人物として認識できる必要があります。動きの評価では、フレーム間の見かけ上の動きを推定するオプティカルフローが使われることがあります。ただし、動きが滑らかであることだけでは、動作が物理的に妥当だとは証明できません。(vchitect.github.io)

評価の仕組み#

標準的な評価では、まずプロンプトのセットを定義します。生成モデルがそれらのプロンプトに対する動画を生成し、各指標に対応する評価器が出力を分析します。テスト条件を統一することで、選択的に選んだ動画同士ではなく、モデル同士を有意義に比較できます。(github.com)

テスト例を提供するベンチマークデータセットとは異なり、VBenchは評価手順も提供します。自動評価器は人間の知覚の一側面を反映することを意図した測定値を出しますが、これらの測定値はあくまで代理指標であり、視聴者の満足を保証するものではありません。(vchitect.github.io)

実用的に比較するには、プロンプト、サンプル数、解像度、長さ、生成設定をできるだけ揃えてください。利用可能な場合は乱数シードを記録しつつ、PyTorchの再現性に関するガイダンスで説明されている限界も考慮してください。各指標を個別に確認しましょう。外観のスコアが高くても指示への追従が不十分な場合があり、ほぼ静止した動画は、求められた動きを表現していなくても一貫性が高く見えることがあります。(github.com)

VBenchと関連する概念#

VBenchは生成コンテンツを評価するものであり、動画生成モデルでも汎用動画分析システムでもありません。

動画理解では既存の映像を解釈し、動画生成では新しい映像を作成します。同様に、物体検出では物体を特定して位置を示しますが、自転車を検出できても、生成されたシーン全体がプロンプトに従っているとは限りません。

Ultralytics YOLOのベンチマークモードでは、エクスポート形式ごとにタスク精度と推論速度を測定します。これらのデプロイメント指標は、VBenchの視覚的・時間的な品質評価とは異なる問いに答えるものです。同様に、vLLMのベンチマークコマンドは言語モデルの実行性能を評価するものであり、生成動画の品質を評価するものではありません。(docs.ultralytics.com)

テキストから動画への生成に関するリーダーボードはベンチマーク結果を要約し、人間の好みに基づく評価の場では視聴者の判断を集めます。どちらも、用途に応じたモデルテストに取って代わるものではありません。

実際のアプリケーション#

次の2つの事例から、これらの違いが重要となる理由が分かります。

• 広告制作： ランニングシューズの広告に使用する生成モデルを比較するクリエイティブチームは、対象の一貫性、動きの滑らかさ、プロンプトとの整合性を確認できます。カメラが追従するショットの途中でシューズの形状が変わると、ほかの点では洗練された動画でも使用できなくなる可能性があります。ベンチマークスコアが高ければ問題ないと決めつけず、ブランド表現や製品の詳細を別途確認してください。
• 合成トレーニング映像： 倉庫の動画を生成するチームは、品質評価を使って、背景が不安定なクリップや不自然な動きを含むクリップを選別できます。ただし、視覚的に説得力のある合成データでも、現実世界の重要な条件が欠けている場合があります。トレーニングにおける有用性は、VBenchだけから推測するのではなく、代表的なデータを用いた下流タスクの検証を通じて確認する必要があります。

これらは品質評価の相補的な活用例であり、VBenchが商用利用への適合性やトレーニングデータの有効性を認証するという主張ではありません。

実践的な評価と限界#

文書化されたVBenchパッケージのワークフローでは、選択した指標についてカスタム動画を評価できます。互換性のある環境に必要な依存関係をインストールした後、次のBashの例を実行すると、既存の生成動画のパスを入力して対象の一貫性を評価できます。(pypi.org)

# Install the evaluation package.
python -m pip install vbench

# Supply an existing generated MP4 file.
read -r -p "Path to generated video: " video_path

# Evaluate one supported custom-input dimension.
vbench evaluate \
    --videos_path "$video_path" \
    --dimension subject_consistency \
    --mode custom_input

この結果は指標別の評価であり、リーダーボード全体のスコアではありません。カスタム動画の評価ではオリジナルの指標の一部しか利用できないため、ベンチマークを比較する際は標準プロトコルを使用してください。(pypi.org)

最後に、自動測定と人による確認、アプリケーションテストを組み合わせてください。魅力的で一貫性のある映像でも、誤解を招く内容やその他のリスクが含まれている場合があります。NIST AIリスクマネジメントフレームワークでは、視覚品質以外の懸念を評価するための、より広範なガイダンスが提供されています。(nist.gov)