Text-to-Video

テキスト・トゥ・ビデオとは、「夜明けに新雪の中を小走りで進む赤いキツネを、低い視点から追跡撮影する」のような自然言語プロンプトから動画クリップを生成することです。これは、入力としてテキストだけを必要とする動画生成の分野であり、時間軸を加えることでテキスト・トゥ・イメージ生成を拡張したものです。モデルは、プロンプトに指定された物体、スタイル、カメラワークを描くだけでなく、キツネが小走りするときの脚の動きのように、プロンプトで暗示される動きも作り出さなければなりません。2022年の初期の研究モデルには、94億パラメーターのTransformerである清華大学のCogVideoと、テキスト・画像ペアから物体の見た目を、ラベルのない動画から動きを学習したMetaのMake-A-Videoがありました。そのため、テキストと動画のペアデータは不要でした。OpenAIのSoraは2024年2月にプレビュー公開され、1分間の高解像度クリップを生成しました。続いて2024年10月にMeta Movie Genが登場し、Google DeepMindのVeoファミリーは2025年5月にVeo 3に到達しました。Veo 3はOpenAIのSora 2と同様に、映像と同期した会話や音声を生成します。

テキストによる動画モデルの条件付け#

T5エンコーダーなどの固定された言語モデルが、プロンプトをトークンの埋め込み系列に変換します。通常は圧縮された潜在動画を扱う拡散Transformerである動画モデルは、各ノイズ除去ステップでクロスアテンションを通じてその埋め込みを読み取ります。そのため、クリップ内の各時空間パッチは、それを説明する語に注意を向けられます。生成はランダムノイズから始まり、他の拡散モデルと同様に、段階的にノイズを取り除いていきます。最後にデコーダーが、ノイズを除去した潜在表現をフレームに変換します。

プロンプトへの追従度は、Jonathan HoとTim Salimansが2022年に提案した分類器なしガイダンスで調整します。トレーニング中、一定割合の例ではプロンプトを取り除くため、1つのネットワークが条件付き予測と無条件予測の両方を学習します。サンプリングの各ステップでモデルは両方を計算し、ガイダンススケールを使って結果を無条件予測から遠ざけます。スケールを高くするとプロンプトにより忠実になりますが、多様性と自然な色合いは損なわれます。

モデルが学習するテキストは、アーキテクチャと同じくらい重要です。トレーニング動画の多くには説明がないか、短くノイズの多い説明しかありません。そのためOpenAIは、詳細な説明を生成する専用のキャプション生成モデルでSoraのトレーニングクリップに再キャプションを付け、生成時にはGPTを使ってユーザーの短いプロンプトを同様に詳細な形式へと拡張します。このプロンプト拡張によって、人々が書くプロンプトと、モデルがトレーニングで使用したキャプションとの隔たりが埋まります。

用途#

• 映画のプリビジュアライゼーション: 監督やゲームデザイナーは、撮影前にカメラアングル、照明、テンポを検証するため、文章で書いたシーンを大まかなクリップにします。
• マーケティングと広告: ブランドは、1つの台本からさまざまなバリエーションの商品写真やソーシャルメディア用クリップを生成します。
• 教育と解説: 教師や出版社は、歴史上の場面や細胞分裂など、撮影が難しいプロセスを視覚化します。
• 合成データ: 夜間にシカが高速道路を横断するなど、まれな事象を記述したプロンプトから、フレームにラベルを付けることで認識モデルのトレーニング用映像を生成します。

失敗パターンと評価#

テキスト・トゥ・ビデオモデルは、正確な対応付けが必要なプロンプトの要素で最も頻繁に失敗します。個数がずれ（「犬が3匹」が2匹または4匹になる）、属性が物体間で入れ替わり（「青いトラックの隣にある赤い車」）、空間関係が逆転し、シーン内の文字が判読不能になります。時間の経過とともに対象が別の形に変化したり、突然現れたり、遮蔽物の背後で消えたりし、物理的な相互作用も破綻します。OpenAIは、Soraがガラスの破砕を正確にモデル化できないと述べています。こうしたエラーは、動画におけるハルシネーションの一種です。

VBenchは、物体クラス、複数物体、色、空間関係、人間の動作、対象の一貫性などの評価軸ごとに、こうした失敗を個別にスコア化します。Fréchet Inception Distance（FID）系の分布メトリクスは、全体的なリアリズムを測定します。コンテンツの検証で中心となるのは物体検出です。生成クリップに対してYOLO26をトラックモードで実行すると、検出された各物体に永続的なIDが付与されます。そのため、犬が2匹出るよう指示したクリップで犬のIDが5つ蓄積された場合、対象がショットの途中で消えて再び現れたか、形を変えたことが分かります。

生成されたクリップでは実在する人物が実際にはしていない行為をするように描写できるため、テキスト・トゥ・ビデオはディープフェイクや、より広い意味でのAI倫理と同じ懸念を引き起こします。プロバイダーは公人の名前を含むプロンプトをブロックし、目に見えるウォーターマークやAIウォーターマーク信号を追加して、Content Credentialsを付与します。OpenAIのSora 2の動画には、目に見える動的ウォーターマークとC2PAメタデータの両方が含まれます。