Meta Movie Gen：コンテンツ制作を再構想する

映画制作を目指す方も、視聴者向けの動画制作を楽しむコンテンツクリエイターの方も、創造性を広げるAIツールがあると便利です。最近、MetaはMeta Movie Genと呼ばれる最新の生成動画モデルを発表しました。

メディア・エンターテインメント分野の世界の生成AI市場は、2033年までに115億7,000万ドルに達すると予測されており、Runway、OpenAI、Metaなどの企業が市場を牽引しています。特にMeta Movie Genは、映画制作、動画コンテンツ制作、デジタルストーリーテリングなどに適しており、高品質なAI生成動画を通じて創造的なビジョンをこれまで以上に簡単に形にできます。この記事では、Meta Movie Genとその仕組みを紹介します。また、いくつかの用途についても詳しく見ていきます。

図1。Meta Movie Genを使って生成した動画クリップの1フレーム。

Meta Movie Genとは#

Meta Movie Genとは何かを説明する前に、どのように誕生したのかを見てみましょう。

Metaの生成AIに関する研究は、モデルのMake-A-Sceneシリーズから始まりました。この研究では、アーティストや創造的な人々が想像力を形にするためのマルチモーダル生成AI手法に焦点を当てています。アーティストは画像、音声、動画、3Dアニメーションを入力し、望む画像出力を得ることができます。次の大きな進歩は、Llama Image Foundationモデル（Emu）のような拡散モデルによってもたらされ、より高品質な画像や動画の生成と画像編集が可能になりました。

図2。Make-A-Sceneのスケッチとテキスト入力を使って画像を生成する例。

Movie Genは、生成AI研究に対するMetaの最新の取り組みです。これまでに紹介したすべてのモダリティを組み合わせ、さらに細かな制御を可能にすることで、モデルをより創造的な方法で利用できます。Meta Movie Genは、テキストから動画、テキストから音声、テキストから画像など、さまざまなメディアを生成する基盤モデルのコレクションです。ライセンス済みおよび一般公開されているデータセットを組み合わせてトレーニングされた4つのモデルで構成されています。

各モデルの概要を簡単に紹介します。

• Movie Gen Videoモデル：テキストプロンプトから高品質な動画を生成する、300億パラメーターのモデルです。
• Movie Gen Audioモデル：動画コンテンツと同期するサウンドトラックを作成できる、130億パラメーターのモデルです。
• Personalized Movie Gen Videoモデル：テキストプロンプトと1枚の画像に基づいて特定の人物の動画を生成し、その人物の容姿を維持します。
• Movie Gen Editモデル：実写動画と架空の動画をテキストで詳細に編集できます。

Meta Movie Gen動画モデルの学習#

Movie Gen Videoモデルの作成とトレーニングには、いくつかの重要なプロセスがありました。最初に、主に人間の活動を捉えた画像や動画クリップなどの視覚データを収集し、品質、動き、関連性に基づいてフィルタリングしました。次に、各シーンで何が起きているかを説明するテキストキャプションをデータに付与しました。MetaのLlama 3-Videoモデルで生成したキャプションは、各シーンの内容を詳細に説明し、モデルの視覚的なストーリーテリング能力を高めました。

図3。Movie Gen Videoモデルの事前学習データ選定パイプラインの概要。

トレーニングでは、まずモデルにテキストを低解像度画像に変換する方法を学習させました。その後、テキストから画像への変換とテキストから動画へのトレーニングを組み合わせ、品質を段階的に高めながら動画クリップ全体を作成できるようにしました。

Temporal Autoencoder（TAE）と呼ばれるツールは、大量のデータを効率よく管理するために動画を圧縮しました。ファインチューニングによって動画の品質がさらに向上し、モデル平均化と呼ばれる手法（異なるデータ、ハイパーパラメーター、チェックポイントでファインチューニングした複数のモデルを平均化します）によって、出力の一貫性が高まりました。最後に、当初768pだった動画は、画像解像度を上げるためにピクセルデータを追加して映像を鮮明にする空間アップサンプリング技術を使い、鮮明な1080pにアップスケールされました。その結果、高品質で詳細な動画出力が得られました。

Meta Movie Genの機能を探る#

Meta Movie Genモデルは、主に4つの機能に対応しています。それぞれ詳しく見ていきましょう。

動画と音声の生成#

Meta Movie Genは高品質な動画を生成できます。動画クリップは最長16秒、16 fps（フレーム毎秒）で、テキストプロンプトから動き、相互作用、カメラアングルを捉えたリアルな映像を作成します。130億パラメーターの音声モデルと組み合わせることで、映像に合った環境音、フォーリー効果音、音楽などの同期音声も生成できます。

この構成により、さまざまなシーンやプロンプトにおいて、映像と音声の一貫性とリアリティが保たれます。例えば、これらのモデルを使って、タイで話題になったコビトカバのムーデンの動画クリップが作成されました。

図4。Meta Movie Genで作成したMoo Dengの動画クリップの1フレーム。

パーソナライズされた動画生成#

Meta Movie Genモデルのもう一つの興味深い機能は、パーソナライズされた動画生成です。ユーザーが人物の画像と動画クリップの生成方法を説明するテキストプロンプトを入力すると、参照人物を含み、プロンプトで指定された豊かな視覚的詳細を取り入れた動画が生成されます。モデルは画像とテキストの両方を使い、人物固有の外見や自然な身体の動きを保ちながら、プロンプトで説明されたシーンを正確に表現します。

図5。モデルのパーソナライズされた動画生成機能の例。

精密な動画編集#

Movie Gen Editモデルを使うと、ユーザーは動画クリップとテキストプロンプトを入力し、創造的な方法で動画を編集できます。このモデルは動画生成と高度な画像編集を組み合わせ、要素の追加、削除、置き換えなど、非常に具体的な編集を行います。また、動画クリップの背景や全体的なスタイルの変更といった全体的な編集も可能です。このモデルの際立った特徴は、その精度です。編集が必要な特定のピクセルだけを対象にし、ほかの部分には手を加えません。これにより、元のコンテンツを可能な限り維持できます。

図6。Movie Gen Editモデルの動画編集機能のさまざまな例。

Meta Movie Genのベンチマークツール#

Metaは生成AIモデルに加えて、生成AIモデルの性能をテストするベンチマークツール群、Movie Gen Benchも発表しました。Movie Gen Video BenchとMovie Gen Audio Benchという2つの主要ツールが含まれています。どちらも動画生成と音声生成の異なる側面をテストするように設計されています。

2つのツールの概要を紹介します。

• Movie Gen Video Bench：人間の活動、動物、自然の風景、物理現象に加え、珍しい題材や活動など、多様なテストカテゴリーを網羅する1,003件のプロンプトで構成されています。この評価ベンチマークが特に有用なのは、さまざまな動きの速さを網羅している点です。これにより、動画生成モデルをテンポの速いシーケンスと遅いシーケンスの両方でテストできます。
• Movie Gen Audio Bench：527件のプロンプトを使って音声生成機能をテストするよう設計されています。これらのプロンプトは生成動画と組み合わせて、モデルが効果音や音楽を映像コンテンツとどれだけ適切に同期できるかを評価します。

図7. 評価プロンプトの内訳を示す図です。左側に概念の一覧、右側に頻出する名詞と動詞のワードクラウドが表示されています。

Meta Movie Genの実用例#

Meta Movie Genモデルとは何か、どのように動作するのかを説明したところで、実用例を見ていきましょう。

映画制作におけるMovie GenのAIイノベーション#

MetaのMovie Genの最も注目すべき用途の一つは、AIを活用した動画・音声制作を通じて映画制作を変革できることです。Movie Genを使えば、クリエイターはシンプルなテキストプロンプトから高品質な映像や音声を生成し、新しいストーリーテリングの方法を切り開けます。

実際、MetaはBlumhouseや映画制作者のグループと協力し、Movie Genが創作プロセスをどのように支援できるかについてフィードバックを集めました。Aneesh Chaganty、Spurlock Sisters、Casey Affleckなどの映画制作者が、雰囲気、トーン、映像表現を捉えるツールの能力を試しました。その結果、モデルが新しいアイデアを生み出す助けになることが分かりました。

このパイロットプログラムから、Movie Genは従来の映画制作に取って代わるものではないものの、映像や音声の要素をすばやく創造的に試す新たな手段を監督に提供することが分かりました。映画制作者は、ツールの編集機能によって、背景音、効果音、映像スタイルをより自由に試せる点も高く評価しました。

図8。Meta Movie Genを使って作成した短編映画の1フレーム。

重要なポイント#

Meta Movie Genは、シンプルなテキストによる説明から高品質な動画や音声を作成する生成AIの進歩を示しています。このツールを使うと、ユーザーはリアルでカスタマイズされた動画を簡単に作成できます。精密な動画編集やパーソナライズされたメディア生成などの機能を備えたMeta Movie Genは、ストーリーテリングや映画制作などに新たな可能性をもたらす柔軟なツールセットです。詳細で実用的な映像をより簡単に作成できるようにすることで、Meta Movie Genはさまざまな分野における動画の制作方法や活用方法を変えています。

詳しくは、GitHubリポジトリをご覧いただき、コミュニティにご参加ください。ソリューションページでは、自動運転車や農業におけるAIの活用例をご紹介しています。