Text-to-Video

文本生成视频是根据自然语言提示生成视频片段，例如“黎明时分，一只赤狐小跑着穿过新雪，低机位跟拍镜头”。这是视频生成中唯一必需输入为文本的分支，它在文本生成图像的基础上增加了时间维度：模型必须渲染提示中提到的物体、风格和镜头运动，还要补足提示中隐含的动作，例如狐狸小跑时腿部如何移动。2022 年的早期研究模型包括清华大学的 CogVideo（一种拥有 94 亿参数的 Transformer）以及 Meta 的 Make-A-Video；后者通过文本—图像配对学习事物的外观，通过无标注视频学习动作，因此不需要配对的文本—视频数据。OpenAI 的 Sora 于 2024 年 2 月预览，能够生成一分钟长的高分辨率片段；Meta Movie Gen 于 2024 年 10 月推出；Google DeepMind 的 Veo 系列于 2025 年 5 月推出 Veo 3。与 OpenAI 的 Sora 2 一样，Veo 3 可以生成与画面同步的对话和声音。

文本如何为视频模型提供条件#

冻结的语言模型（例如 T5 编码器）会将提示转换成一系列 token 嵌入。视频模型通常是作用于压缩后潜在视频的扩散 Transformer，它会在每个去噪步骤通过交叉注意力读取这些嵌入，因此片段中的每个时空块都能关注描述自身的词语。生成过程从随机噪声开始，并像其他扩散模型一样逐步去除噪声，直到解码器将干净的潜在表示转换为帧。

通过无分类器引导来调整模型对提示的遵循程度；Jonathan Ho 和 Tim Salimans 于 2022 年提出了这种方法。训练时，部分样本会丢弃提示，使同一个网络学会有条件和无条件预测；在每个采样步骤中，模型都会计算这两种预测，并通过引导尺度将结果推离无条件预测。引导尺度越高，生成结果越严格地遵循提示，但多样性和色彩自然度会有所下降。

模型学习所用的文本与模型架构同样重要。大多数训练视频没有描述，或者只有简短而嘈杂的描述，因此 OpenAI 使用专门的图像描述生成模型为 Sora 的训练片段重新添加说明，生成详细描述；生成时，它还会使用 GPT 将用户的简短提示扩展为同样详细的形式。这种提示词扩展弥合了人们编写提示的方式与模型训练所用描述之间的差距。

用途#

• 电影预演：导演和游戏设计师将文字场景转换为粗略片段，以便在拍摄前测试镜头角度、光线和节奏。
• 营销与广告：品牌根据一份脚本生成多种版本的产品镜头和社交媒体短片。
• 教育与科普：教师和出版商可以为难以拍摄的过程制作示意内容，例如历史场景或细胞分裂。
• 合成数据：描述罕见事件（例如夜间一只鹿穿越高速公路）的提示可以生成视频素材；为视频帧添加标注后，即可用于训练感知模型。

失效模式与评估#

文本生成视频模型最常在需要精确绑定的提示内容上出错。数量会发生偏差（“三只狗”变成两只或四只），属性会在物体之间互换（“一辆红色汽车停在一辆蓝色卡车旁”），空间关系会颠倒，场景中的文字也会变得模糊难辨。随着时间推移，主体会变形成其他形状、凭空出现，或在遮挡物后消失；物理交互也会出错：OpenAI 曾表示，Sora 无法准确模拟玻璃破碎。这类错误是视频形式的幻觉。

VBench会分别评估这些错误，涵盖物体类别、多物体、颜色、空间关系、人类动作和主体一致性等维度；弗雷歇 Inception 距离（FID）系列分布指标则衡量总体真实感。目标检测是内容检查的主要工具：在生成片段上以跟踪模式运行 YOLO26，可以为每个检测到的物体分配持续不变的 ID；因此，如果提示中有两只狗，但片段累计出现了五个狗的 ID，就说明主体在镜头中途消失后又重新出现，或发生了形态变化。

由于生成的片段可能展示真实人物做他们从未做过的事，文本生成视频会引发与深度伪造及更广泛的AI 伦理相同的担忧。服务提供商会屏蔽提及公众人物的提示，添加可见水印和 AI 水印信号，并附上内容凭证；OpenAI 的 Sora 2 视频同时带有可见的动态水印和 C2PA 元数据。