使用 Google DeepMind 的 Veo 生成视频

在 Google 2024 I/O 于 5 月 14 日举办的发布会上，Google 分享了其 AI 部门 DeepMind 的最新动态。其中一项重要发布是新的生成式视频模型 Veo。Veo 可以根据文本、图像和视频提示生成高质量的 1080p 视频。你甚至可以通过后续提示编辑生成的视频。下面我们来详细了解 Veo 的功能。

了解 Veo 的能力#

Veo 是一种生成式视频模型，能够深入理解语言和视觉内容，生成与用户创意构想高度契合的视频。它可以准确捕捉较长提示中的基调和细节，是创作者将想法转化为精准视频内容的强大工具。

Veo 能理解“延时摄影”和“风景航拍”等电影拍摄手法，因此用户可以对生成的视频进行精细的创意控制。这种创意控制让用户能够创作出人物、动物和物体都自然运动的视频。Veo 生成的视频引人入胜、视觉效果出色，很难看出它们是由 AI 模型生成的。

Veo 不只是根据提示生成视频。如果你提供一段之前生成的视频，并提出具体的编辑要求，例如在海岸线的航拍画面中加入皮划艇，Veo 就能将这一改动融入原视频并生成更新版本。

图 1. 使用 Veo 编辑视频的示例。

Veo 还提供以下功能：

• 遮罩编辑：Veo 可以帮助你编辑视频中的指定区域。
• 受图像启发的视频生成：提供一张图像和一段文本提示，Veo 就能生成风格与图像相似、并遵循提示指示的视频。
• 延长视频片段：Veo 可以生成并延长视频片段，将时长扩展至 60 秒或更长；你可以使用单条提示，也可以使用一组共同讲述故事的连续提示。

Veo 生成的惊艳视频#

我们来看看 Veo 生成的一些视频，以及它们的亮点。

根据简短的文本提示生成延时摄影视频并不容易。简短的文本提示通常无法准确描述延时场景中的变化和运动。因此，Veo 无需详细说明就能理解延时摄影的预期效果，这一点值得关注。

图 2. Veo 生成的延时摄影视频中的一帧。

同样，生成符合准确物理规律的视频也并非易事。AI 模型需要理解并模拟重力、动量和碰撞等物理定律，才能让运动和互动显得真实。Veo 无需文本提示提供详细指导，就能准确模拟这些动态效果，令人印象深刻。

图 3. 使用 Veo 生成的视频中的一帧，准确展现了水母运动的物理规律。

到目前为止，由于计算资源有限，而且长序列中的连贯性难以维持，我们看到的 AI 生成视频都比较短。在 Google 2024 I/O 发布会上，展示了 Veo 创作更长、更复杂视频的能力。

图 4. Google 2024 I/O 演讲中展示的 Veo 长视频画面。

Veo 如何运作？#

与许多其他 AI 模型一样，Veo 站在众多先驱的肩膀上。它借鉴了 Generative Query Network（GQN）、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet 和 Lumiere 等先前成果，以及 Google 的 Transformer 架构和 Gemini。此外，为了提高 Veo 准确理解提示词的能力，其训练数据集中每段视频的说明文字都更加详尽。

根据 Google 分享的粗略模型工作流程，Veo 的运作方式如下：

• 输入提示：你提供文本提示，也可以选择提供图像提示。
• 编码：UL2 Encoder 对文本提示进行处理，图像编码器则处理图像提示。
• 嵌入式提示：文本和图像编码器的输出会合并，形成一个嵌入式提示。
• 潜在扩散模型：该模型接收嵌入式提示和带噪的压缩视频，并据此生成压缩视频。Veo 使用高质量的压缩视频表示，称为潜变量，在保持质量的同时提升效率。
• 解码：最后一步是从压缩视频中解码出 1080p 视频。

图 5. Veo 的工作原理。

电影制作领域的精彩案例研究#

为了测试 Veo 的能力，Google 与电影制作人 Donald Glover 及其创意工作室 Gilga 合作。他们使用 Veo 探索了多种创意技巧，包括需要精准移动和稳定构图的动态跟拍镜头。

图 6. 在电影制作过程中使用 Veo。

传统上，电影制作人会受到时间和资源限制。借助 Veo，Glover 和他的团队能够快速尝试并生成复杂镜头，从而为电影制作流程带来更大的灵活性和创新空间。

例如，在正式拍摄前，他们可以试拍各种动态跟踪镜头，观察效果并按需调整。这个预演过程帮助他们完善构思，确保镜头能达到预期效果，最终减少实际拍摄所需的次数。他们还制作了一个有说服力的案例研究，展示 Veo 改变电影行业的潜力。Veo 提供了一种更快速、高效的方式，将创意构想变为现实。

Veo 在各行业的实际用途#

Veo 的先进视频生成能力在许多行业都有实际应用。在广告领域，它可以快速为目标受众制作定制化的高质量广告，节省时间和制作成本。在教育领域，Veo 可以制作引人入胜的教学视频，让复杂概念更容易理解。

企业可以将 Veo 用于培训和企业沟通。医疗保健专业人员可以使用 Veo 模拟医疗操作，用于培训。在虚拟活动和会议方面，Veo 可以逼真地模拟会场和舞台，让参与者无论身在何处都能获得有趣且互动性强的体验。活动组织者则能扩大活动覆盖面，并为未来的活动获取有价值的洞察。

当 AI 模型可能影响多个行业时，必须重视安全和合乎伦理的 AI。为促进更广泛的采用并确保负责任地使用，Google 实施了多项安全措施。Veo 生成的视频会使用 SynthID 添加水印，SynthID 是一款用于为 AI 生成内容添加水印并进行识别的工具。SynthID 有助于提高透明度，并降低隐私、版权和偏见风险。此外，所有生成的视频都会经过安全过滤和记忆内容检查流程。这些保障措施旨在推动负责任的视频制作。

在哪里使用 Veo#

Google 在发布时表示，将通过一款名为 VideoFX 的新工具，向部分创作者开放 Veo 的部分功能。VideoFX 可在 labs.google 使用，让创作者提前体验并试用其视频生成能力。Google 还开放了 Veo 等候名单，供感兴趣的创作者报名。

DeepMind 2024 年生成式 AI 更新一览#

除 Veo 外，DeepMind 还在 2024 年推出了多项生成式 AI 更新。其中一项是 Imagen 3，这是当时 DeepMind 最先进的文本生成图像模型。Imagen 3 擅长生成照片般逼真的图像。它能深入理解自然语言提示，并捕捉精细细节，同时尽量减少视觉伪影。

图 7. 使用 Imagen 3 生成的图像。

DeepMind 还开发了 Lyria，这是其最先进的 AI 音乐生成模型。作为这项工作的组成部分，DeepMind 创建了一套名为 Music AI Sandbox 的音乐 AI 工具。这些工具让音乐家和制作人能够探索音乐创作和声音转换方面的新创意可能。

图 8. DeepMind AI 音乐工具的界面示例。

与 Veo 类似，DeepMind 也为其他更新实施了多项安全措施。这些更新都将使用 SynthID 作为工具，为 AI 生成内容添加水印并识别此类内容。DeepMind 的这些更新有望通过提供先进、高效且负责任的工具，助力各行各业制作高质量的视觉和音频内容，推动行业变革。

迈向生成式 AI 的下一阶段#

DeepMind 在 2024 年推出的生成式 AI 技术进展，包括 Veo、Imagen 3 和 Lyria，标志着 AI 能力取得了显著飞跃。Veo 能根据简单提示生成高质量的 1080p 视频，革新了视频创作方式，成为电影制作人和内容创作者的多功能工具。Imagen 3 擅长生成逼真的图像，而 Lyria 则通过先进的 AI 工具为音乐生成带来了新可能。

这些技术有望通过提供高效且负责任的工具，助力各行各业制作高质量的视觉和音频内容，推动行业变革。SynthID 等安全措施有助于确保技术得到合乎伦理的使用，DeepMind 也将继续拓展 AI 的边界，为未来的创新应用铺平道路。

访问我们的 GitHub 代码仓库，并加入我们的社区，深入探索 AI。浏览我们的解决方案页面，了解 AI 如何应用于制造业和农业。