Video Generation
视频生成是指生成式模型根据文本、图像或现有素材合成新视频片段,同时保持动作随时间连贯一致。
视频生成是指使用生成式 AI模型合成新视频:生成一系列帧,让物体、光照和运动在相邻帧之间保持一致。模型可以从文本提示、用于制作动画的静态图像、用于重新设计风格或扩展的现有片段开始,也可以像世界模型那样,根据过去的帧和动作生成视频。相比单张生成图像,每秒 24 帧的五秒片段包含 120 张彼此必须一致的图像;单帧中不易察觉的错误(例如一只手的手指数量发生变化)在画面播放时会表现为闪烁或变形。视频理解和物体跟踪则方向相反,它们分析已经存在的影像。
不到十年间,这个领域就从极短片段发展到可生成长达数分钟的视频。Carl Vondrick、Hamed Pirsiavash 和 Antonio Torralba 于 2016 年提出的 VGAN 是一种生成对抗网络,它分别生成静态背景和运动前景,制作出约一秒、分辨率为 64×64 的视频。2022 年 4 月,Google 的 Jonathan Ho 等人将扩散模型扩展到视频领域;Meta 的 Make-A-Video 和 Google 的 Imagen Video 随后于当年秋季发布;OpenAI 于 2024 年 2 月预览的 Sora 则能生成长达一分钟的片段。Tencent 的 HunyuanVideo(2024 年 12 月)和 Alibaba 的 Wan 2.1(2025 年 2 月)等开放权重模型,让用户也能在本地运行并微调相同架构。
视频生成模型的工作原理#
目前大多数系统都是由三个部分组成的潜在扩散模型。视频自编码器会在空间和时间维度上压缩片段,生成小得多的潜在张量,因为对数百帧的原始像素进行去噪,成本会高得多。去噪网络如今通常采用扩散 Transformer(DiT),它会将潜在表示切分为时空块,即 OpenAI Sora 处理的单元,然后逐步去除噪声;注意力会将每个块与其他帧中的块关联起来,让主体在移动时保持形状。之后,自编码器的解码器会将干净的潜在表示转换回视频帧。
早期模型采用了成本更低的时间一致性方案。许多模型在预训练的文生图 U-Net 中加入时间注意力层,以比较不同帧中的同一位置;这样网络就能重用已学到的外观知识,只需学习运动。Imagen Video 将基础模型与独立的空间和时间超分辨率模型串联起来,逐步提升分辨率和帧率。Google 的 Lumiere(2024 年)通过时空 U-Net 一次性生成整个片段,并指出,先生成相距较远的关键帧再进行级联的模型很难保持整体运动连贯。长视频或交互式视频通常采用自回归方式逐块生成,每个块都以之前的帧为条件;扩散强制等方法就是为这种场景进行训练的。
视频生成类型#
- 文生视频:仅根据文字提示生成视频片段。
- 图生视频:将静态图像制作成动画,并将其作为第一帧,从而控制构图和主体。
- 视频转视频:在保留运动的同时,对现有片段重新设计风格、编辑或扩展,是 AI 视频编辑的核心工具。
- 音视频联合生成:Google 的 Veo 3(2025 年 5 月)和 OpenAI 的 Sora 2(2025 年 9 月)可生成与画面同步的对话、音效和音乐。
- 世界模型:根据当前帧和动作(例如转向指令或机械臂运动)预测后续帧,让视频能够响应控制。
应用场景#
影视和广告团队使用 Google DeepMind 的 Veo 和 Meta Movie Gen 等生成器制作预可视化内容,以及拍摄成本高昂的镜头;这是AI 应用于电影制作这一更广泛趋势的一部分。Physical AI开发者会生成罕见事件的驾驶和机器人影像:NVIDIA 于 2025 年 1 月发布的 Cosmos 世界基础模型可生成用于训练自动驾驶汽车和机器人的视频;Wayve 的 GAIA-1 则能根据文本和车辆动作生成驾驶场景。为生成片段中的帧添加标签后,这些片段就能成为感知模型的合成数据;收到生成片段后,Ultralytics Platform数据集会以每秒 1 帧的速度抽取视频,最多抽取 100 帧,并将每帧保存为可供标注的图像。
局限性与评估#
生成视频仍然无法准确遵循物理规律,也难以保持物体持续存在。OpenAI 表示,Sora 无法准确模拟玻璃破碎等互动过程;生成的物体可能相互穿透、凭空出现,或在被遮挡物挡住后消失。计算量会随着分辨率和时长增加,因此大多数模型只生成几秒长的片段,再分阶段延长。评估方式已从单一分布分数 Fréchet Video Distance(视频领域对应的 Fréchet Inception Distance(FID))转向 VBench 等评测套件;VBench 会从主体一致性到提示遵循度等 16 个维度进行评分。逼真的输出也会助长深度伪造,因此服务提供商会通过 AI 水印和 Content Credentials标记生成视频:Google 会在每段 Veo 视频中嵌入不可见的 SynthID 水印。










