YOLOのライセンス
Ultralytics用語集に戻る

VBench

VBenchは、被写体の一貫性からプロンプトへの忠実度まで、16の観点でAI生成動画を評価します。各項目の測定内容と結果の読み方を解説します。

VBenchは、テキストから動画を生成するモデルを評価するベンチマークスイートです。生成された動画クリップについて、視覚品質とプロンプトへの忠実度を16の独立した側面から採点します。Nanyang Technological UniversityのS-LabとShanghai AI Laboratoryの研究者が、2023年11月の論文VBench:動画生成モデルのための包括的ベンチマークスイートで導入しました。この論文はCVPR 2024のハイライト論文に選ばれました。公開リーダーボードは、元の論文で扱われたLaVie、ModelScope、VideoCrafter、CogVideoから、後発の拡散Transformerシステムまで、動画生成モデルを比較する際の一般的な参照先になっています。

VBench以前の評価では、動画版のFréchet Inception Distance(FID)にあたるFréchet Video Distanceなど、単一の分布メトリクスが中心でした。これらのメトリクスは実動画と生成動画の特徴統計量を比較するため、動き、アイデンティティ、プロンプトへの追従を一つの数値で表す必要があります。VBenchは品質を複数の項目に分け、モデルが具体的にどの点で不足しているかを開発者が確認できるようにします。また、各項目について、人間が異なるモデルの動画ペアを比較する選好アノテーションを収集し、自動スコアが視聴者と同じ順位でモデルを評価できることを確認しました。

16の評価尺度#

VBenchの評価尺度は、次の2つのグループに分かれます。

  • 動画品質:プロンプトを考慮せず、クリップ自体を評価します。時間方向の品質については被写体の一貫性、背景の一貫性、時間的なちらつき、動きの滑らかさ、動きの大きさを評価し、各フレームについては美的品質と画質を評価します。
  • 動画と条件の一貫性:クリップをプロンプトと照合して評価します。コンテンツについては物体クラス、複数物体、人間の動作、色、空間的関係、シーンを確認します。スタイルについては外観スタイルと時間的スタイルを確認し、全体的な一貫性も評価します。

動きの度合いは、一貫性の指標とのバランスを取ります。ほぼ静止したクリップは、被写体の一貫性と時間的なちらつきで、ほとんど自動的に高スコアを得られるため、VBenchは実際にどれだけ動きが生じているかも測定します。これらの尺度を合わせて確認することで、動く写真を生成してモデルが高評価を得るのを防げます。

各評価尺度の採点方法#

各項目にはそれぞれ評価器があり、通常はフレームをサンプリングして事前学習済みのビジョンモデルを適用します。被写体の一貫性は、自己教師ありのVision TransformerであるDINOの特徴をフレーム間で比較し、背景の一貫性はCLIPの画像特徴を同様に比較します。時間的なちらつきは、連続するフレーム間のピクセル絶対差の平均です。RAFTのオプティカルフローで選んだ、ほぼ静止したクリップだけを使って測定します。RAFTは動きの大きさも推定します。動きの滑らかさは、フレーム補間モデルAMTが欠落フレームをどれだけ正確に再構成するかで評価します。自然な動きは前後のフレームから予測できるためです。美的品質にはLAIONの美的予測器を使い、画質にはMUSIQモデルを使ってぼけ、ノイズ、露出過多を検出します。

コンテンツ項目では、各フレームに別のモデルを適用します。物体クラス、複数物体、色、空間的関係の評価では、GRiTの物体検出・密なキャプション生成モデルを使い、要求された物体が適切な色と配置で現れているかを確認します。人間の動作にはUMTの動作認識モデルを使います。シーンはTag2Textの画像キャプションとプロンプトを比較し、外観スタイルはCLIPを使ってフレームとスタイルの説明を比較します。また、時間的スタイルと全体的な一貫性は、ViCLIPの動画とテキストの埋め込みを比較します。

各項目の評価には、その項目をテストするために作成した約100個のプロンプトからなるプロンプトスイートを使います。動物、建築、食べ物、人間、ライフスタイル、植物、風景、乗り物の8カテゴリそれぞれに100個、合計800個の別のプロンプトセットを使うと、対象分野ごとに結果を分類できます。リーダーボードでは各項目を正規化し、重み付き品質スコア、重み付き意味スコア、合計スコアを算出します。

VBenchの結果の活用#

Leaderboardのスコアを比較できるのは、モデルを同じサンプリング設定で標準プロンプトスイートに対して実行した場合に限られます。VBenchはスイート外のカスタム動画も採点できますが、参照プロンプトを必要としない6つの次元、すなわち被写体の一貫性、背景の一貫性、動きの滑らかさ、動的度合い、美的品質、画質に限られます。

すべての次元を別のモデルで測定するため、各スコアにはそのモデルの盲点が引き継がれます。小さな物体や珍しい物体を見落とす検出器は、生成動画内のそのような物体も過小に数えます。また、美的品質の予測器には、学習データの好みが反映されます。生成モデルが当初の外観重視の次元で向上するにつれ、同じ研究グループは評価スイートを拡張しました。IEEE TPAMIで発表されたVBench++は、画像から動画への生成、長尺動画、信頼性の評価を追加し、公平性、バイアス、安全性を対象としています。また、2025年3月に公開されたVBench-2.0は、「内在的忠実性」の18次元を、人間の忠実性、制御可能性、創造性、物理、常識に分類して採点します。

生成クリップをビジョンモデル向けの合成トレーニングデータにする場合も、検出器ベースのチェックを活用できます。生成した各フレームにUltralytics YOLO26をpredict modeで実行すると、映像をトレーニングセットに加える前に、要求した物体が実際に映っていることを確認できます。これは、VBenchの物体クラス次元がGRiTを使って行うチェックと同じです。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう