获取 YOLO 许可
返回 Ultralytics 术语表

Video Generation

视频生成是指生成式模型根据文本、图像或现有素材合成新视频片段,同时保持动作随时间连贯一致。

视频生成是指使用生成式 AI模型合成新视频:生成一系列帧,让物体、光照和运动在相邻帧之间保持一致。模型可以从文本提示、用于制作动画的静态图像、用于重新设计风格或扩展的现有片段开始,也可以像世界模型那样,根据过去的帧和动作生成视频。相比单张生成图像,每秒 24 帧的五秒片段包含 120 张彼此必须一致的图像;单帧中不易察觉的错误(例如一只手的手指数量发生变化)在画面播放时会表现为闪烁或变形。视频理解和物体跟踪则方向相反,它们分析已经存在的影像。

不到十年间,这个领域就从极短片段发展到可生成长达数分钟的视频。Carl Vondrick、Hamed Pirsiavash 和 Antonio Torralba 于 2016 年提出的 VGAN 是一种生成对抗网络,它分别生成静态背景和运动前景,制作出约一秒、分辨率为 64×64 的视频。2022 年 4 月,Google 的 Jonathan Ho 等人将扩散模型扩展到视频领域;Meta 的 Make-A-Video 和 Google 的 Imagen Video 随后于当年秋季发布;OpenAI 于 2024 年 2 月预览的 Sora 则能生成长达一分钟的片段。Tencent 的 HunyuanVideo(2024 年 12 月)和 Alibaba 的 Wan 2.1(2025 年 2 月)等开放权重模型,让用户也能在本地运行并微调相同架构。

视频生成模型的工作原理#

目前大多数系统都是由三个部分组成的潜在扩散模型。视频自编码器会在空间和时间维度上压缩片段,生成小得多的潜在张量,因为对数百帧的原始像素进行去噪,成本会高得多。去噪网络如今通常采用扩散 Transformer(DiT),它会将潜在表示切分为时空块,即 OpenAI Sora 处理的单元,然后逐步去除噪声;注意力会将每个块与其他帧中的块关联起来,让主体在移动时保持形状。之后,自编码器的解码器会将干净的潜在表示转换回视频帧。

早期模型采用了成本更低的时间一致性方案。许多模型在预训练的文生图 U-Net 中加入时间注意力层,以比较不同帧中的同一位置;这样网络就能重用已学到的外观知识,只需学习运动。Imagen Video 将基础模型与独立的空间和时间超分辨率模型串联起来,逐步提升分辨率和帧率。Google 的 Lumiere(2024 年)通过时空 U-Net 一次性生成整个片段,并指出,先生成相距较远的关键帧再进行级联的模型很难保持整体运动连贯。长视频或交互式视频通常采用自回归方式逐块生成,每个块都以之前的帧为条件;扩散强制等方法就是为这种场景进行训练的。

视频生成类型#

  • 文生视频:仅根据文字提示生成视频片段。
  • 图生视频:将静态图像制作成动画,并将其作为第一帧,从而控制构图和主体。
  • 视频转视频:在保留运动的同时,对现有片段重新设计风格、编辑或扩展,是 AI 视频编辑的核心工具。
  • 音视频联合生成:Google 的 Veo 3(2025 年 5 月)和 OpenAI 的 Sora 2(2025 年 9 月)可生成与画面同步的对话、音效和音乐。
  • 世界模型:根据当前帧和动作(例如转向指令或机械臂运动)预测后续帧,让视频能够响应控制。

应用场景#

影视和广告团队使用 Google DeepMind 的 Veo 和 Meta Movie Gen 等生成器制作预可视化内容,以及拍摄成本高昂的镜头;这是AI 应用于电影制作这一更广泛趋势的一部分。Physical AI开发者会生成罕见事件的驾驶和机器人影像:NVIDIA 于 2025 年 1 月发布的 Cosmos 世界基础模型可生成用于训练自动驾驶汽车和机器人的视频;Wayve 的 GAIA-1 则能根据文本和车辆动作生成驾驶场景。为生成片段中的帧添加标签后,这些片段就能成为感知模型的合成数据;收到生成片段后,Ultralytics Platform数据集会以每秒 1 帧的速度抽取视频,最多抽取 100 帧,并将每帧保存为可供标注的图像。

局限性与评估#

生成视频仍然无法准确遵循物理规律,也难以保持物体持续存在。OpenAI 表示,Sora 无法准确模拟玻璃破碎等互动过程;生成的物体可能相互穿透、凭空出现,或在被遮挡物挡住后消失。计算量会随着分辨率和时长增加,因此大多数模型只生成几秒长的片段,再分阶段延长。评估方式已从单一分布分数 Fréchet Video Distance(视频领域对应的 Fréchet Inception Distance(FID))转向 VBench 等评测套件;VBench 会从主体一致性到提示遵循度等 16 个维度进行评分。逼真的输出也会助长深度伪造,因此服务提供商会通过 AI 水印和 Content Credentials标记生成视频:Google 会在每段 Veo 视频中嵌入不可见的 SynthID 水印。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来