Google DeepMindのVeoで動画を生成する

5月14日に行われたGoogleの2024年I/Oの発表では、同社のAI部門であるDeepMindの最新情報が共有されました。主な発表の一つは、新しい動画生成モデルのVeoです。Veoは、テキスト、画像、動画のプロンプトをもとに、高品質な1080p動画を作成できます。後続のプロンプトを使って生成動画を編集することもできます。Veoの機能を詳しく見ていきましょう。

Veoの機能を理解する#

Veoは、言語と映像を深く理解し、ユーザーの創造的なビジョンに合った動画を生成する動画生成モデルです。長いプロンプトのトーンや細部を正確に捉えられるため、アイデアを精密な動画コンテンツに変換したいクリエイターにとって強力なツールとなります。

Veoは「タイムラプス」や「風景の空撮」などの映像技法を理解できるため、ユーザーは生成動画を細かく創作制御できます。この制御により、人や動物、物体が自然に動く動画を作成できます。Veoが生成した動画は魅力的で見た目にも美しく、AIモデルが生成したと見分けるのが難しいほどです。

Veoは、プロンプトから動画を作成するだけにとどまりません。以前に生成した動画と、海岸の空撮映像にカヤックを加えるといった具体的な編集指示を入力すると、Veoはその変更を元の動画に反映し、更新版を作成できます。

図1. Veoを使った動画編集の例。

Veoが提供するその他の機能を紹介します。

• マスク編集: Veoは、動画内の指定した領域を編集できます。
• 画像を基にした動画生成: 画像とテキストプロンプトを使って、画像のスタイルを反映し、プロンプトの指示に従った動画をVeoが生成します。
• 長尺動画クリップ: Veoは、単一のプロンプト、またはストーリーを構成する一連のプロンプトから、60秒以上の動画クリップを生成・延長できます。

Veoが生成した息をのむような動画#

Veoが生成した動画をいくつか見ながら、際立った特徴を確認していきましょう。

短いテキストプロンプトからタイムラプス動画を生成するのは困難です。通常、短いプロンプトでは、タイムラプスのシーン内で起きる変化や動きを正確に伝えられません。そのため、詳細な指示がなくてもタイムラプスに期待される内容をVeoが理解できるのは注目に値します。

図2. Veoが生成したタイムラプス動画のフレーム。

同様に、物理法則を正確に反映した動画を生成するのも簡単ではありません。動きや相互作用を現実的に見せるには、AIモデルが重力、運動量、衝突などの物理法則を理解し、シミュレーションする必要があります。テキストプロンプトによる詳細な指示がなくても、Veoがこうした力学を正確にモデル化できるのは見事です。

図3. Veoが生成した動画のフレーム。クラゲの動きの物理法則を正確に捉えています。

これまでは、計算上の制約や長いシーケンスにわたって一貫性を保つ難しさから、AIが生成する動画は短いものに限られていました。Googleの2024年I/Oの発表では、Veoがより長く複雑な動画を作成できることが示されました。

図4. Googleの2024年I/Oのプレゼンテーションで紹介された、Veoの長尺動画のフレーム。

Veoの仕組み#

ほかの多くのAIモデルと同様に、Veoも先人の成果を基盤としています。Generative Query Network (GQN)、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet、Lumiereなどの先行技術に加え、GoogleのTransformerアーキテクチャやGeminiを活用しています。また、Veoがプロンプトを正確に解釈できるよう、トレーニングデータセット内の各動画のキャプションをより詳細にしました。

Googleが共有した大まかなモデルのワークフローに基づくと、Veoの仕組みは次のとおりです。

• プロンプト入力: テキストプロンプトを入力し、必要に応じて画像プロンプトも指定します。
• エンコード: テキストプロンプトはUL2 Encoderで処理され、画像プロンプトは画像エンコーダーで処理されます。
• 埋め込みプロンプト: テキストエンコーダーと画像エンコーダーの出力を組み合わせ、単一の埋め込みプロンプトを形成します。
• 潜在拡散モデル: 埋め込みプロンプトとノイズを含む圧縮動画をモデルに入力し、それらを使って圧縮動画を生成します。Veoは、品質を維持しながら効率を高めるため、潜在表現と呼ばれる高品質な圧縮動画表現を使用します。
• デコード: 最終ステップでは、圧縮動画から1080pの動画出力をデコードします。

図5. Veoの仕組み。

映画制作における説得力のある事例#

Veoの能力を試すため、Googleは映画監督のDonald Gloverと、彼のクリエイティブスタジオであるGilgaと協力しました。精密な移動と一貫したフレーミングが必要なダイナミックなトラッキングショットなど、さまざまなクリエイティブ手法の検証にVeoを活用しました。

図6. 映画制作プロセスでのVeoの活用。

従来、映画制作者は時間やリソースの制約に直面していました。Veoを使うことで、Glover氏とチームは複雑なショットをすばやく試し、生成できるようになり、その結果、映画制作プロセスの柔軟性と革新性が高まりました。

たとえば、本番撮影の前にさまざまな動的なトラッキングショットを試し、見え方を確認して必要に応じて調整できました。このプリビジュアライゼーションのプロセスにより、アイデアを洗練させ、意図どおりにショットが機能することを確認できたため、本番撮影で必要なテイク数を最終的に減らせました。映画業界を変革するVeoの可能性を示す、説得力のある事例を作成できました。創造的なビジョンをより迅速かつ効率的に形にする方法を提供します。

さまざまな業界におけるVeoの実用例#

Veoの高度な動画生成機能は、多くの業界で実用的な用途があります。広告分野では、ターゲット層に合わせた高品質なコマーシャルをすばやく制作でき、時間と制作コストを削減できます。教育分野では、複雑な概念を理解しやすくする、魅力的な解説動画を作成できます。

企業は、Veoを研修や社内コミュニケーションに活用できます。医療従事者は、研修目的で医療処置をシミュレーションするためにVeoを使うことができます。バーチャルイベントや会議では、Veoによって会場やステージのリアルなシミュレーションを作成でき、どこからでも参加者に魅力的でインタラクティブな体験を提供できます。主催者はリーチを拡大し、今後のイベントに役立つ貴重な知見を得られます。

AIモデルがさまざまな業界に影響を与える可能性を持つ場合、安全性と倫理的なAIに留意することが重要です。より幅広い導入を促し、責任ある利用を徹底するため、Googleはいくつかの安全対策を実施しています。Veoが作成した動画には、AI生成コンテンツの電子透かし付与と識別を行うツールSynthIDを使って電子透かしが付与されます。SynthIDは透明性を高め、プライバシー、著作権、バイアスに関するリスクの軽減に役立ちます。さらに、生成されたすべての動画は安全フィルターと記憶内容のチェック処理を通過します。これらの保護策は、責任ある動画制作を支援するために設計されています。

Veoを利用できる場所#

Googleはリリース時に、labs.googleで利用できる新しいツールVideoFXを通じて、一部のVeo機能を選定されたクリエイターに提供開始すると発表しました。これにより、クリエイターは動画生成機能をいち早く試せます。関心のあるクリエイターが登録できるよう、Veoのウェイトリストが公開されました。

DeepMindによる2024年の生成AIアップデートの詳細#

Veoに加え、DeepMindは2024年の生成AIに関する複数の最新情報を発表しました。その一つがImagen 3で、当時最も高度なテキスト画像変換モデルでした。Imagen 3は、フォトリアルで本物のような画像の生成に優れています。自然言語のプロンプトを深く理解し、視覚的なアーティファクトを抑えながら細部を捉えます。

図7. Imagen 3を使って生成された画像。

DeepMindは、AI音楽生成用の最も高度なモデルであるLyriaも開発しました。この取り組みの一環として、DeepMindはMusic AI Sandboxという音楽AIツール群を作成しました。これらのツールにより、ミュージシャンやプロデューサーは、作曲やサウンド変換における新たな創作の可能性を探れます。

図8. DeepMindのAI音楽ツールのUI例。

Veoと同様に、DeepMindは他のアップデートにもいくつかの安全対策を導入しています。これらのアップデートでは、AI生成コンテンツへの電子透かしの付与と識別にSynthIDが使用されます。DeepMindのこれらのアップデートは、高品質な視覚・音声コンテンツを作成するための高度で効率的かつ責任あるツールを提供し、さまざまな業界に変革をもたらすことが期待されています。

生成AIの次の段階を見据えて#

Veo、Imagen 3、Lyriaを含むDeepMindの2024年の生成AIの進歩は、AIの能力を大きく飛躍させるものです。Veoは、簡単なプロンプトから高品質な1080p動画を生成する能力によって動画制作に変革をもたらし、映画制作者やコンテンツクリエイターにとって汎用性の高いツールとなっています。Imagen 3はフォトリアルな画像の生成に優れ、Lyriaは高度なAIツールによって音楽生成の新たな可能性を切り開きます。

これらのテクノロジーは、高品質な視覚・音声コンテンツを作成するための効率的で責任あるツールを提供し、さまざまな業界に変革をもたらすことが期待されています。SynthIDのような安全対策によって倫理的な利用を確保しながら、DeepMindはAIの可能性を広げ続け、将来の革新的な応用への道を切り開いています。

GitHubリポジトリを訪問し、コミュニティに参加して、AIの世界を探ってみましょう。製造業や農業でAIがどのように活用されているかは、ソリューションページをご覧ください。