YOLOのライセンス
Ultralytics用語集に戻る

Video Generation

動画生成とは、時間の経過に伴う動きの一貫性を保つ生成モデルによって、テキスト、画像、既存の映像から新しい動画クリップを合成することです。

動画生成とは、生成AIモデルを使って、オブジェクト、照明、動きがフレーム間で一貫した新しい動画、つまりフレームの系列を合成することです。モデルは、テキストプロンプト、アニメーション化する静止画像、スタイルを変更または延長する既存の動画クリップ、あるいは世界モデルのように過去のフレームと行動を入力として開始できます。1枚の画像を生成する場合と比べ、毎秒24フレームの5秒間の動画には互いに整合する必要がある画像が120枚含まれます。手の指の本数が変わるなど、1フレームでは気づかない誤りも、再生時にはちらつきや変形として現れます。動画理解とオブジェクト追跡は逆方向の処理で、すでに存在する映像を解析します。

この分野では、10年足らずの間に、短いクリップから数分間の動画へと進歩しました。Carl Vondrick、Hamed Pirsiavash、Antonio Torralbaによる2016年のVGANは、敵対的生成ネットワークで、静的な背景と動く前景を別々に生成し、約1秒の64×64動画を作成しました。GoogleのJonathan Hoらは2022年4月に拡散モデルを動画に拡張し、同年秋にはMetaのMake-A-VideoとGoogleのImagen Videoが続きました。2024年2月にプレビュー公開されたOpenAIのSoraは、最長1分のクリップを生成しました。TencentのHunyuanVideo(2024年12月)やAlibabaのWan 2.1(2025年2月)などのオープンウェイトモデルにより、同じアーキテクチャをローカルで実行し、ファインチューニングできるようになりました。

動画生成モデルの仕組み#

現在のシステムの多くは、3つの部分で構成される潜在拡散モデルです。動画オートエンコーダーは、空間と時間の両方でクリップをはるかに小さな潜在テンソルに圧縮します。数百フレームの生画素をノイズ除去するには、コストがかかりすぎるためです。通常は拡散Transformer(DiT)であるノイズ除去ネットワークは、潜在表現を時空間パッチに分割します。これらはOpenAIのSoraが処理する単位です。そして、アテンションで各パッチを別のフレームのパッチと結び付け、対象が移動しても形状が保たれるようにしながら、段階的にノイズを除去します。最後に、オートエンコーダーのデコーダーが、クリーンになった潜在表現をフレームに戻します。

初期のモデルは、時間的一貫性を保つため、より低コストな方法を採用しました。多くのモデルは、事前学習済みのテキストから画像への生成用U-Netに、フレーム間の同じ位置を比較する時間アテンション層を追加しました。これにより、ネットワークは外観に関する知識を再利用し、動きだけを学習できました。Imagen Videoは、解像度とフレームレートを段階的に高める、基盤モデルと個別の空間・時間超解像モデルを連結しました。GoogleのLumiere(2024年)は時空間U-Netでクリップ全体を一度に生成し、まず離れたキーフレームを生成するカスケード方式では、動きを全体として一貫させるのが難しいと主張しました。長尺またはインタラクティブな動画は、フレームごとのチャンクを過去のフレームに基づいて自己回帰的に生成することが多く、拡散強制などの手法はこの設定で学習します。

動画生成の種類#

  • テキストから動画: テキストで記述したプロンプトだけからクリップを生成します。
  • 画像から動画: 静止画像を最初のフレームとして維持しながらアニメーション化するため、構図や対象を制御できます。
  • 動画から動画: 動きを維持したまま、既存のクリップのスタイル変更、編集、延長を行います。AI動画編集の中核となるツールです。
  • 音声と動画の同時生成: GoogleのVeo 3(2025年5月)とOpenAIのSora 2(2025年9月)は、映像に同期した会話、効果音、音楽を生成します。
  • 世界モデル: 現在のフレームと、ハンドル操作やロボットアームの動作などの行動から次のフレームを予測し、制御に応じて動画を変化させます。

用途#

映画や広告の制作チームは、Google DeepMindのVeoやMeta Movie Genなどの生成モデルを、プリビジュアライゼーションや撮影コストの高いショットに利用しています。これは映画制作におけるAIへの広範な移行の一環です。フィジカルAIの開発者は、まれな状況を含む運転やロボティクスの映像を生成します。2025年1月に公開されたNVIDIA Cosmosの世界基盤モデルは、自動運転車やロボットの学習用動画を生成し、WayveのGAIA-1はテキストと車両の行動を条件として運転シーンを生成します。生成クリップのフレームにラベルを付けると、認識モデル向けの合成データになります。Ultralytics Platformのデータセットに生成クリップを取り込むと、毎秒1フレーム、最大100フレームがサンプリングされ、アノテーションに利用できる画像として各フレームが保存されます。

限界と評価#

生成動画では、物理法則やオブジェクトの永続性が依然として破綻します。OpenAIは、Soraがガラスの破砕などの相互作用を正確にモデル化できないと説明しています。また、生成されたオブジェクトが互いをすり抜けたり、何もないところから現れたり、遮蔽物の後ろで消えたりすることがあります。解像度と長さに応じて計算量が増えるため、多くのモデルでは数秒のクリップを生成し、段階的に延長します。評価では、動画版のフレシェ・インセプション距離(FID)に当たる単一の分布スコアであるFréchet Video Distanceから、対象の一貫性からプロンプトへの忠実度まで16の指標を採点するVBenchなどの評価スイートへと移行しました。リアルな出力はディープフェイクも可能にするため、提供事業者は生成動画にAI電子透かしとコンテンツ認証情報を付与します。GoogleはすべてのVeo動画に、目に見えないSynthID透かしを埋め込みます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう