Meta Movie Gen：重塑内容创作
了解 Meta Movie Gen 如何重新定义视频和声音创作。学习该模型如何提供精准的视频编辑功能并支持个性化媒体创作。
无论你是立志成为电影制作人，还是喜欢为观众制作视频的内容创作者，拥有能够拓展你创造力的 AI 工具总是很有帮助的。最近，Meta 推出了其最新的生成式视频模型，名为 Meta Movie Gen。
预计到 2033 年，全球传媒和娱乐领域的生成式 AI 市场规模将达到 115.7 亿美元，Runway、OpenAI 和 Meta 等公司在突破性创新方面处于领先地位。尤其是 Meta Movie Gen，非常适合电影制作、视频内容创作和数字讲故事等应用，它比以往任何时候都更容易通过高质量的 AI 生成视频将创意愿景变为现实。在本文中，我们将探讨 Meta Movie Gen 及其工作原理。我们还将仔细研究它的一些应用。让我们开始吧！
图 1。使用 Meta Movie Gen 生成的视频剪辑画面。
什么是 Meta Movie Gen？#
在我们讨论 Meta Movie Gen 是什么之前，让我们先来看看它是如何诞生的。
Meta 与生成式 AI 相关的研究工作始于其“即兴场景”系列模型。这项研究侧重于多模态生成式 AI 方法，该方法可帮助艺术家和富有远见的人将他们的想象力变为现实。艺术家可以输入图像、音频、视频或3D 动画来获得所需的图像输出。创新的下一次飞跃来自扩散模型，例如 Llama Image Foundation 模型（Emu），这使得生成更高质量的图像和视频成为可能，并实现了图像编辑。
图 2。使用“即兴场景”的草图和文本输入来获取生成图像的示例。
Movie Gen 是 Meta 对生成式 AI 研究的最新贡献。它结合了前面提到的所有模态，并允许更细粒度的控制，以便人们可以以更多样化的创意方式使用这些模型。Meta Movie Gen 是用于生成不同类型媒体的基础模型集合，包括文本到视频、文本到音频和文本到图像。它由四个模型组成，这些模型在许可的和公开可用的数据集的组合上进行训练。
以下是这些模型的简要概述：
- Movie Gen Video 模型： 一个 300 亿参数的模型，可从文本提示生成高质量视频。
- Movie Gen Audio 模型： 一个 130 亿参数的模型，可以创建与视频内容同步的音轨。
- 个性化 Movie Gen Video 模型： 它可基于文本提示和单张图像生成特定个人的视频，同时保留他们的外貌特征。
- Movie Gen Edit 模型： 该模型允许对真实和虚构视频进行基于文本的详细视频编辑。
训练 Meta Movie Gen 视频模型#
创建和训练 Movie Gen Video 模型涉及几个关键过程。第一步包括收集和准备视觉数据，包括图像和视频剪辑，主要是针对质量、运动和相关性进行筛选的人类活动。然后，数据与解释每个场景中发生的事情的文本标题配对。使用 Meta 的 LLaMa3-Video 模型生成的标题提供了有关每个场景内容的丰富细节，增强了模型的视觉讲故事能力。
图 3。Movie Gen Video 模型预训练数据整理管道概览。
训练过程从模型学习将文本转换为低分辨率图像开始。然后，它通过结合文本到图像和文本到视频训练，使用日益高质量的视觉效果，逐步推进到创建完整的视频剪辑。
一个名为时间自编码器 (TAE) 的工具可以压缩视频以有效地管理大量数据。微调进一步提高了视频质量，称为模型平均的方法（它结合了多个模型输出以获得更平滑、更一致的结果）确保了更高的输出一致性。最后，使用空间上采样器技术（通过添加像素数据来增加图像分辨率以获得更清晰的视觉效果），最初为 768p 的视频被放大到清晰的 1080p 分辨率。其结果是高质量、细节丰富的视频输出。
探索 Meta Movie Gen 的能力#
Meta Movie Gen 模型主要支持四种不同的能力。让我们仔细看看每一种。
视频和音频生成#
Meta Movie Gen 可以生成高质量的视频。这些视频剪辑最长可达 16 秒，运行帧率为 16 fps（每秒帧数），从而从文本提示中创建捕捉运动、交互和摄像机角度的逼真视觉效果。搭配 130 亿参数的音频模型，它可以产生同步的音频，包括环境声音、拟音效果和音乐，以匹配视觉效果。
这种设置确保了无缝、逼真的体验，其中视觉效果和音频在各种场景和提示中保持一致和逼真。例如，这些模型被用于创建泰国走红的小河马莫邓 (Moo Deng)的视频剪辑。
图 4。使用 Meta 的 Movie Gen 制作的莫邓视频剪辑画面。
个性化视频生成#
Meta Movie Gen 模型的另一个有趣功能是个性化视频生成。用户可以提供一个人的图像和一段描述视频剪辑应如何生成的文本提示，从而生成一个包含参考人物并融入文本提示中指定的丰富视觉细节的视频。该模型使用两个输入（图像和文本）来保持人物独特的外表和自然的身体动作，同时准确遵循提示中描述的场景。
图 5。该模型的个性化视频生成功能示例。
精确的视频编辑#
使用 Movie Gen Edit 模型，用户可以提供视频片段和文本提示作为输入，以创造性的方式编辑视频。该模型将视频生成与高级图像编辑相结合，以执行非常具体的编辑，例如添加、移除或替换元素。它还可以执行全局更改，如修改视频片段的背景或整体风格。但使该模型真正独特的是其精度：它可以仅针对需要编辑的特定像素，而保持其余部分不变。这尽可能地保留了原始内容。
图 6。Movie Gen Edit 模型的视频编辑功能的各种示例。
Meta Movie Gen 的基准测试工具#
除了生成式 AI 模型之外，Meta 还推出了 Movie Gen Bench，这是一套用于测试生成式 AI 模型性能的基准测试工具。它附带两个主要工具：Movie Gen Video Bench 和 Movie Gen Audio Bench。两者都旨在测试视频和音频生成的不同方面。
以下是这两个工具的概览：
- Movie Gen Video Bench：它由 1003 个提示组成，涵盖广泛的测试类别，例如人类活动、动物、自然风景、物理学，以及不寻常的主题和活动。这个评估基准特别有价值的原因在于它涵盖了运动级别，这确保了视频生成模型针对快节奏和慢节奏序列都进行了测试。
- Movie Gen Audio Bench： 它旨在通过 527 个提示测试音频生成能力。这些提示与生成的视频配对，以评估模型在将音效和音乐与视觉内容同步方面的表现。
图 7。该图显示了评估提示词的细分，左侧是概念列表，右侧是常用名词和动词的词云。
Meta Movie Gen 的实际应用#
既然我们已经介绍了 Meta Movie Gen 模型是什么以及它们是如何工作的，让我们来探索它们的其中一个实际应用。
电影制作中的 Movie Gen AI 创新#
Meta 的 Movie Gen 最令人兴奋的用途之一是它如何通过由 AI 驱动的视频和音频创作来改变电影制作。借助 Movie Gen，创作者可以通过简单的文本提示生成高质量的视觉效果和声音，从而开辟讲故事的新方法。
事实上，Meta 与布伦豪斯 (Blumhouse) 以及一群电影制作人合作，收集了他们关于 Movie Gen 如何最好地支持创作过程的反馈。 Aneesh Chaganty、Spurlock Sisters 和 Casey Affleck 等电影制作人测试了该工具捕捉情绪、基调和视觉方向的能力。他们发现这些模型有助于激发新鲜的想法。
这个试点项目表明，虽然 Movie Gen 并不能取代传统的电影制作，但它为导演提供了一种快速且富有创造性地尝试视觉和音频元素的新方法。电影制作人还赞赏该工具的编辑功能让他们能够更自由地尝试背景声音、效果和视觉风格。
图 8。使用 Meta Movie Gen 创建的短片画面。
关键要点#
Meta Movie Gen 是利用生成式 AI 从简单的文本描述制作高质量视频和声音的一大进步。该工具帮助用户轻松创建逼真且自定义的视频。凭借精确视频编辑和个性化媒体生成等功能，Meta Movie Gen 提供了一套灵活的工具集，为叙事、电影制作等领域开启了崭新的可能性。通过简化创建详细且实用的视觉效果的过程，Meta Movie Gen 正在改变视频在不同领域的制作和使用方式，并为 AI 驱动的内容创作设定了新标准。
要了解更多信息，请访问我们的 GitHub 仓库，并与我们的 社区 互动。在我们的解决方案页面上探索 自动驾驶汽车 和 农业 中的 AI 应用。🚀
