Meta Movie Gen：重新构想内容创作

无论你是有抱负的电影制作人，还是喜欢为观众制作视频的内容创作者，能够拓展创意的 AI 工具总是很有帮助。最近，Meta 发布了最新的生成式视频模型 Meta Movie Gen。

媒体和娱乐领域的全球生成式 AI 市场预计到 2033 年将达到 115.7 亿美元，Runway、OpenAI 和 Meta 等公司正引领这一市场。Meta Movie Gen 尤其适用于电影制作、视频内容创作和数字叙事等场景，让你可以比以往更轻松地通过高质量 AI 生成视频实现创意构想。本文将介绍 Meta Movie Gen 及其工作原理，并深入了解它的一些应用。

图 1。使用 Meta Movie Gen 生成的视频片段中的一帧。

什么是 Meta Movie Gen？#

在讨论 Meta Movie Gen 是什么之前，我们先来看看它是如何诞生的。

Meta 在生成式 AI方面的研究始于其Make-A-Scene 系列模型。这项研究聚焦于一种多模态生成式 AI 方法，帮助艺术家和有远见的创作者将想象变为现实。艺术家可以输入图像、音频、视频或 3D 动画，获得想要的图像输出。随后，Llama Image Foundation 模型（Emu）等扩散模型带来了创新上的又一次飞跃，使生成更高质量的图像和视频成为可能，并支持图像编辑。

图 2。使用 Make-A-Scene 的草图和文本输入生成图像的示例。

Movie Gen 是 Meta 对生成式 AI 研究的最新贡献。它融合了前面提到的所有模态，并提供更精细的控制，让人们能够以更具创造性的方式使用这些模型。Meta Movie Gen 是一组基础模型，可生成不同类型的媒体，包括文本生成视频、文本生成音频和文本生成图像。它由四个模型组成，这些模型使用授权数据集和公开数据集的组合进行训练。

下面快速介绍这些模型：

• Movie Gen Video 模型：一个拥有 300 亿参数的模型，可根据文本提示生成高质量视频。
• Movie Gen Audio 模型：一个拥有 130 亿参数的模型，可创建与视频内容同步的配乐。
• 个性化 Movie Gen Video 模型：根据文本提示和单张图像生成特定人物的视频，同时保留人物的外貌特征。
• Movie Gen Edit 模型：该模型支持对真实和虚构视频进行细致的文本指令视频编辑。

Meta Movie Gen 视频模型的训练#

Movie Gen Video 模型的创建和训练涉及多个关键流程。首先，收集并准备视觉数据，包括图像和视频片段；这些数据主要呈现人类活动，并按质量、动作和相关性进行筛选。随后，为数据配上描述各个场景内容的文字说明。说明由 Meta 的 Llama 3-Video 模型生成，详细描述了每个场景的内容，增强了模型的视觉叙事能力。

图 3。Movie Gen Video 模型预训练数据整理流程概览。

训练过程首先让模型学习将文本转换为低分辨率图像。随后，模型结合文本生成图像和文本生成视频训练，并逐步使用质量更高的视觉素材来生成完整的视频片段。

一种名为时序自编码器（TAE）的工具对视频进行压缩，以便高效处理大量数据。微调进一步提升了视频质量，而一种名为模型平均的技术（对使用不同数据、超参数和检查点微调的多个模型取平均值）则确保了输出更加一致。最后，视频最初为 768p，经过空间上采样技术提升至清晰的 1080p 分辨率；这种技术通过增加像素数据来提高图像分辨率，使画面更加清晰。最终生成了高质量、细节丰富的视频。

探索 Meta Movie Gen 的功能#

Meta Movie Gen 模型主要支持四种不同的能力。下面逐一了解。

视频和音频生成#

Meta Movie Gen 能够生成高质量视频。视频片段最长可达 16 秒，帧率为 16 fps（每秒帧数），能够根据文本提示生成逼真的画面，呈现动作、互动和摄像机角度。它还与拥有 130 亿参数的音频模型配合，生成与画面同步的音频，包括环境音、拟音效果和音乐。

这种设置能让不同场景和提示中的画面与音频保持协调、逼真。例如，这些模型曾用于制作泰国走红的侏儒河马 Moo Deng的视频片段。

图 4。使用 Meta Movie Gen 制作的穆登视频片段中的一帧。

个性化视频生成#

Meta Movie Gen 模型的另一项有趣能力是个性化视频生成。用户可以提供某个人的图像，以及描述视频片段应如何生成的文本提示，最终生成的视频会包含参考人物，并呈现文本提示中指定的丰富视觉细节。模型会同时使用图像和文本输入，保留人物独特的外貌和自然的身体动作，同时准确呈现提示中描述的场景。

图 5。模型个性化视频生成能力示例。

精准视频编辑#

使用 Movie Gen Edit 模型时，用户可以同时输入视频片段和文本提示，以创造性的方式编辑视频。模型将视频生成与高级图像编辑相结合，执行非常具体的编辑操作，例如添加、移除或替换元素。它还可以进行全局更改，例如修改视频片段的背景或整体风格。模型的突出之处在于精准度：它只会处理需要编辑的特定像素，其余部分保持不变。这样可以尽可能保留原始内容。

图 6。Movie Gen Edit 模型视频编辑能力的多个示例。

Meta Movie Gen 的基准测试工具#

除了生成式 AI 模型，Meta 还推出了 Movie Gen Bench，这是一套用于测试生成式 AI 模型性能的基准测试工具。它包含两个主要工具：Movie Gen Video Bench 和 Movie Gen Audio Bench，分别用于测试视频生成和音频生成的不同方面。

下面简要介绍这两种工具：

• Movie Gen Video Bench：包含 1,003 条提示，涵盖多种测试类别，例如人类活动、动物、自然景观、物理现象，以及不常见的主题和活动。这项评估基准尤其有价值的一点是覆盖了不同的运动速度，确保视频生成模型既能接受快节奏片段的测试，也能接受较慢节奏片段的测试。
• Movie Gen Audio Bench：用于通过 527 个提示词测试音频生成能力。这些提示词与生成的视频配对，以评估模型将音效和音乐与视觉内容同步的效果。

图 7. 该图展示了评估提示词的分类：左侧列出概念，右侧是常用名词和动词的词云。

Meta Movie Gen 的实际应用#

了解 Meta Movie Gen 模型的定义和工作原理后，下面来看看它的一项实际应用。

Movie Gen 在电影制作领域的 AI 创新#

Meta Movie Gen 最令人振奋的用途之一，是利用 AI 驱动的视频和音频创作变革电影制作。借助 Movie Gen，创作者只需简单的文本提示，就能生成高质量的画面和声音，为讲述故事开辟新的方式。

事实上，Meta 与 Blumhouse 及一群电影制作人合作，收集他们对 Movie Gen 如何更好地支持创作流程的反馈。Aneesh Chaganty、Spurlock Sisters 和 Casey Affleck 等电影制作人测试了该工具捕捉情绪、基调和视觉方向的能力。他们发现，这些模型有助于激发新的创意。

这项试点计划表明，Movie Gen 虽然无法取代传统电影制作，但能为导演提供一种全新的方式，让他们快速、富有创意地尝试视觉和音频元素。电影制作人也很喜欢这款工具的编辑功能，因为这些功能让他们能够更自由地调整背景音、音效和视觉风格。

图 8。使用 Meta Movie Gen 制作的短片中的一帧。

要点#

Meta Movie Gen 推动了生成式 AI 的发展，能够根据简单的文本描述生成高质量视频和音频。这款工具帮助用户轻松创建逼真且符合需求的视频。凭借精准视频编辑和个性化媒体生成等能力，Meta Movie Gen 提供了一套灵活的工具，为叙事、电影制作等领域开辟了新的可能。Meta Movie Gen 让人们更轻松地创建细节丰富、实用的视觉内容，正在改变各个领域制作和使用视频的方式。

如需了解更多信息，请访问我们的 GitHub 代码仓库，并参与我们的社区交流。欢迎在我们的解决方案页面探索自动驾驶汽车和农业领域的 AI 应用。