Generative AI

生成式 AI 是人工智能（AI）的一个分支，其模型会学习训练数据的概率分布，并从中采样生成新数据：文本、图像、音频、视频、代码、3D 场景或分子结构。判别式模型学习 p(label | input)，即给定输入时标签的概率；生成式模型则学习 p(input) 本身或 p(input | prompt)，因此能够生成从未存在过的输入。OpenAI 于 2022 年 11 月 30 日发布 ChatGPT 后，这个术语开始进入日常使用，但相关方法早已出现：Diederik Kingma 和 Max Welling 于 2013 年提出变分自编码器，Ian Goodfellow 及其同事于 2014 年提出生成对抗网络。

生成模型如何工作#

如今，大多数生成式 AI 都由四类深度学习模型生成；大型语言模型（LLM）中采用 GPT范式的模型都属于第一类：

• 自回归 Transformer：每次生成一个序列 token，每个 token 都以此前生成的内容为条件，适用于文本、代码、语音和经过 token 化的图像。
• 扩散模型：向训练样本添加噪声，并学习逐步去噪，因此生成过程从纯噪声开始，通过去噪得到样本。Stable Diffusion 于 2022 年 8 月发布，它在压缩后的潜在空间中执行这一过程。
• 生成对抗网络（GAN）：训练生成器与判别器对抗，判别器尝试区分真实样本和生成样本，从而推动生成器在一次前向传播中生成逼真的结果。
• 变分自编码器（VAE）：将数据编码到具有已知分布的潜在空间，再解码从该空间中采样的样本。潜在扩散模型会使用 VAE 在去噪前压缩图像。

其基本思路几行就能说明白。高斯混合模型学习 Iris 数据集中 150 朵花的分布并采样生成新花；而在同一数据集上训练的判别式分类器则为花分类：

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.mixture import GaussianMixture

iris = load_iris()  # 150 朵花：萼片和花瓣的长度与宽度，单位为 cm

# 判别式模型：学习 p(species | measurements)，因此只能为花分类
classifier = LogisticRegression(max_iter=1000).fit(iris.data, iris.target)

# 生成式模型：学习 p(measurements) 本身，因此可以采样生成新花
generator = GaussianMixture(n_components=3, random_state=0).fit(iris.data)
new_flowers, _ = generator.sample(3)

# 判别式模型为生成的样本分类
for flower, species in zip(new_flowers.round(1), classifier.predict(new_flowers)):
    print(flower, iris.target_names[species])

采样生成的三朵花（例如一朵萼片长 4.7 cm、花瓣长 1.4 cm 的花）从未被测量过，但分类器仍将它们分别判为变色鸢尾、山鸢尾和维吉尼亚鸢尾，因为混合模型的三个簇与这三个物种一一对应。文本或图像生成器则用一个拥有数十亿参数的神经网络取代这三个高斯分布，并用 token 或像素取代测量值。

生成式模型与判别式模型的协同应用#

图像分类和目标检测都是判别式任务：YOLO26将图像映射为框和类别，但无法绘制图像。这两类模型经常按顺序协同工作。Ultralytics Platform 的类提示式智能标注使用生成式视觉语言模型 (VLM)为数据集的类别名称绘制框，默认使用 Moondream 3.1；审核后的框会成为训练 YOLO26 检测器的标签。

生成器还会为罕见事件创建合成数据，这些事件难以拍摄且拍摄成本高昂或危险，例如罕见缺陷或道路隐患；合成数据生成流水线会将这些图像与真实图像混合，用于训练。反向应用也很常见：检测器和分类器会为生成图像评估质量，或标记不安全内容。

应用场景#

• 文本生成：聊天助手、摘要生成和翻译都基于 LLM；编程助手则根据描述编写并测试软件。
• 文本生成图像：Stable Diffusion 等模型会根据提示生成图片，同类模型也能填充或替换照片中的蒙版区域。
• 文本生成视频：OpenAI 的 Sora 等模型可根据文字描述生成视频片段；Sora 于 2024 年 2 月首次亮相。
• 分子结构：Google DeepMind 和 Isomorphic Labs 于 2024 年 5 月发布的 AlphaFold 3 使用基于扩散的模块生成原子坐标，从而预测蛋白质复合物的结构。

风险与局限#

语言生成器会产生幻觉，生成流畅但错误的陈述；图像和语音生成器助长了深度伪造；使用网络数据训练则引发了版权和知情同意方面的问题。AI 水印和 C2PA 内容凭证会标记生成媒体，以便日后识别。生成内容也会反过来进入训练数据：Ilia Shumailov 及其同事在 2024 年发表于 Nature 的《递归的诅咒》中指出，递归地使用自身输出训练模型，会导致模型丢失原始分布中罕见事件的尾部；他们将这种失效称为模型崩溃。