使用 Google DeepMind 的 Veo 生成视频
进一步了解 Google DeepMind 最新的生成式视频模型 Veo。它可以根据文本、图像和视频提示，轻松生成高质量的 1080P 视频。
在 5 月 14 日的 Google 2024 I/O 演讲中，Google 分享了 DeepMind（其 AI 部门）的最新动态。最令人振奋的进展之一，是最新的生成式视频模型 Veo。Veo 能根据文本、图像和视频提示生成高质量的 1080P 视频，甚至可以根据后续提示编辑已生成的视频。Veo 将生成式 AI 推向了新的高度。下面就来详细了解 Veo 提供的功能。
了解 Veo 的能力#
Veo 是一种生成式视频模型，能够深入理解语言和视觉内容，生成与用户创意构想高度契合的视频。它可以准确捕捉较长提示中的基调和细节，是创作者将想法转化为精准视频内容的强大工具。
Veo 能理解“延时摄影”和“风景航拍”等电影拍摄技巧，因此用户可以对生成的视频进行开创性的创意控制。借助这种创意控制，用户可以制作人物、动物和物体都能自然运动的视频。Veo 生成的视频引人入胜、视觉效果出色，很难看出它们是由 AI 模型生成的。
Veo 不仅能根据提示生成视频。如果你提供一段先前生成的视频，并提出具体的编辑要求，例如在海岸线的航拍画面中加入皮划艇，Veo 就能将这一改动自然地融入原视频，生成更新后的版本。
图 1. 使用 Veo 编辑视频的示例。
Veo 还提供以下功能：
- 遮罩编辑：Veo 可以帮助你编辑视频中的指定区域。
- 受图像启发的视频生成：提供一张图像和一段文本提示，Veo 就能生成风格与图像相似、并遵循提示指示的视频。
- 延长视频片段：Veo 可以生成并延长视频片段，将时长扩展至 60 秒或更长；你可以使用单条提示，也可以使用一组共同讲述故事的连续提示。
Veo 生成的惊艳视频#
一起来看看 Veo 生成的一些视频，以及它们为何如此惊艳。
根据简短的文本提示生成延时摄影视频颇具挑战。通常，简短的文本提示无法准确描述延时摄影场景中的变化和动态。因此，Veo 无需详细说明就能理解延时摄影的预期效果，着实令人惊叹。
图 2. Veo 生成的延时摄影视频中的一帧。
同样，生成符合准确物理规律的视频也并非易事。AI 模型需要理解并模拟重力、动量和碰撞等物理定律，才能让运动和互动显得真实。Veo 无需文本提示提供详细指导，就能准确模拟这些动态效果，令人印象深刻。
图 3. 使用 Veo 生成的视频中的一帧，准确展现了水母运动的物理规律。
受计算能力限制，以及在较长序列中维持连贯性的复杂性影响，此前我们看到的 AI 生成视频都比较短。在 Google 2024 I/O 演讲中，Veo 展现了生成更长、更复杂视频的惊人能力。
图 4. Google 2024 I/O 演讲中展示的 Veo 长视频画面。
Veo 如何运作？#
和许多其他 AI 模型一样，Veo 也站在巨人的肩膀上。它借鉴了此前的多项进展，包括生成式查询网络 (GQN)、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet 和 Lumiere，也采用了 Google 专有的 Transformer 架构和 Gemini。此外，为了提升 Veo 准确理解提示的能力，其训练数据集中的每段视频都配有更详细的描述。
根据 Google 分享的粗略模型工作流程，Veo 的运作方式如下：
- 输入提示：你提供文本提示，也可以选择提供图像提示。
- 编码：UL2 Encoder 对文本提示进行处理，图像编码器则处理图像提示。
- 嵌入式提示：文本和图像编码器的输出会合并，形成一个嵌入式提示。
- 潜在扩散模型：该模型接收嵌入式提示和带噪的压缩视频，并据此生成压缩视频。Veo 使用高质量的压缩视频表示，称为潜变量，在保持质量的同时提升效率。
- 解码：最后一步是从压缩视频中解码出 1080p 视频。
图 5. Veo 的工作原理。
电影制作领域的精彩案例研究#
为了测试 Veo 的能力，Google 与电影制作人 Donald Glover 及其创意工作室 Gilga 合作。他们使用 Veo 探索了多种创意技巧，包括需要精准移动和稳定构图的动态跟拍镜头。
图 6. 在电影制作过程中使用 Veo。
传统上，电影制作人会受到时间和资源限制。借助 Veo，Glover 和他的团队能够快速尝试并生成复杂镜头，从而让电影制作过程更加灵活，也更具创新性。
借助 Veo，Glover 和他的团队可以在正式拍摄前快速尝试并生成复杂镜头。例如，他们可以测试各种动态跟拍镜头的效果，并根据需要进行调整。这个预演过程帮助他们完善创意，确保镜头达到预期效果，最终减少正式拍摄所需的镜头次数。他们还制作了一个精彩的案例研究，展示 Veo 改变电影行业的潜力。Veo 为将创意构想变为现实提供了一种更快速、更高效的方式。
Veo 在各行业的实际用途#
Veo 的先进视频生成能力在许多行业都有实际应用。在广告领域，它可以快速为目标受众制作定制化的高质量广告，节省时间和制作成本。在教育领域，Veo 可以制作引人入胜的教学视频，让复杂概念更容易理解。
企业可以使用 Veo 开展培训和企业沟通。医疗保健专业人员可以使用 Veo 模拟医疗操作，用于培训。在虚拟活动和会议方面，Veo 可以逼真地模拟场馆和舞台，让参与者无论身处何地，都能获得引人入胜的互动体验。组织者则能扩大活动覆盖范围，并获得对未来活动有价值的见解。Veo 为人们打开了无数机遇。
当 AI 模型有望影响多个行业时，安全和合乎伦理的 AI 就显得尤为重要。为了推动广泛采用并确保负责任地使用，Google 实施了多项安全措施。Veo 创建的视频会使用 SynthID 添加水印，这是一种用于给 AI 生成内容添加水印并识别此类内容的工具。SynthID 能确保透明度，并有助于降低隐私、版权和偏见方面的风险。此外，所有生成的视频都会通过安全过滤器和记忆检查流程。这些保障措施使 Veo 成为支持负责任且创新的视频制作的实用合规工具。
在哪里使用 Veo#
未来几周内，Google 将通过 VideoFX 向部分创作者开放 Veo 的一些突破性功能。VideoFX 是一款可在 labs.google 使用的新工具。这项计划让创作者能够提前体验 Veo 的先进视频生成能力，并尝试其创新功能。目前，Veo 候补名单已开放，感兴趣的创作者可以报名，在项目中使用 Veo 的强大工具。
DeepMind 2024 年生成式 AI 更新一览#
除了 Veo，DeepMind 还在 2024 年推出了多项生成式 AI 前沿更新。其中之一是 Imagen 3，也是 DeepMind 迄今最先进的文本生成图像模型。Imagen 3 擅长生成逼真、栩栩如生的图像。它能深入理解自然语言提示，在捕捉复杂细节的同时尽量减少视觉瑕疵。
图 7. 使用 Imagen 3 生成的图像。
DeepMind 还开发了 Lyria，这是其最先进的 AI 音乐生成模型。作为这项工作的组成部分，DeepMind 创建了一套名为 Music AI Sandbox 的音乐 AI 工具。这些工具让音乐家和制作人能够探索音乐创作和声音转换方面的新创意可能。
图 8. DeepMind AI 音乐工具的界面示例。
与 Veo 类似，DeepMind 也为其他更新实施了多项安全措施。这些更新都将使用 SynthID 作为工具，为 AI 生成内容添加水印并识别此类内容。DeepMind 的这些更新有望通过提供先进、高效且负责任的工具，助力各行各业制作高质量的视觉和音频内容，推动行业变革。
迈向生成式 AI 的下一阶段#
DeepMind 在 2024 年推出的生成式 AI 技术进展，包括 Veo、Imagen 3 和 Lyria，标志着 AI 能力取得了显著飞跃。Veo 能根据简单提示生成高质量的 1080p 视频，革新了视频创作方式，成为电影制作人和内容创作者的多功能工具。Imagen 3 擅长生成逼真的图像，而 Lyria 则通过先进的 AI 工具为音乐生成带来了新可能。
这些技术有望通过提供高效且负责任的工具，助力各行各业制作高质量的视觉和音频内容，推动行业变革。SynthID 等安全措施有助于确保技术得到合乎伦理的使用，DeepMind 也将继续拓展 AI 的边界，为未来的创新应用铺平道路。
访问我们的 GitHub 代码仓库，并加入我们的社区，深入探索 AI。浏览我们的解决方案页面，了解 AI 如何应用于制造业和农业。
