Diffusion Language Models

了解扩散语言模型如何通过迭代去噪生成和编辑文本，并深入了解 Transformer、应用、优势与局限。

扩散语言模型是通过迭代去噪来生成或编辑文本的生成模型，而不是严格按照从左到右的顺序逐个生成 token。它们从一个经过破坏的序列开始——通常包含被掩码、替换或不确定的 token——然后反复优化多个位置，直到文本变得连贯。这种方法结合了语言建模和扩散模型的思想，为传统的下一个 token 生成方式提供了另一种选择。

扩散语言模型的工作原理#

文本首先通过分词被划分为单词、子词、字符或其他离散单元。在训练期间，前向破坏过程会逐步移除 token 序列中的信息。根据具体实现，token 可能会被掩码符号、采样得到的替代项，或称为嵌入的带噪连续表示所替换。

模型学习反向过程，即预测经过破坏的序列的更干净版本。在推理时，它从一个高度掩码化或带噪的文本块开始，并执行多个优化步骤。早期步骤确定整体含义和结构，后续步骤则修正词汇、语法、格式和局部一致性。

许多扩散语言模型使用Transformer处理序列。Transformer 非常适合这项任务，因为其注意力机制可以将每个 token 与周围上下文关联起来。PyTorch Transformer 文档对这一底层架构进行了有用的概述。

与固定的填空系统不同，扩散生成可以反复重新考虑预测结果。某一步选定的 token 不一定是永久确定的；当序列的其余部分提供了更好的上下文时，后续迭代可能会对其进行修改。Google DeepMind 的文本扩散概述展示了这种块级、迭代式的生成模式。

扩散模型与相关概念的比较#

以下几个密切相关的术语描述了不同的目标或架构：

**自回归大型语言模型**按顺序生成 token，每次预测都以先前的输出为条件。TensorFlow 的自回归文本生成教程展示了这一因果过程。扩散模型则可以在每个优化步骤中更新多个位置。
掩码语言模型使用两侧的上下文来预测被有意隐藏的 token。Keras 掩码语言建模示例展示了这一训练目标。扩散语言模型将这一思想扩展为完整的生成过程，包含多个破坏级别和去噪迭代。
Stable Diffusion 是图像生成系统，而不是大型语言模型。Stability AI 的Stable Diffusion 图像服务用于生成和编辑视觉内容，而扩散语言模型则处理文本 token 或其表示。
扩散 Transformer 描述的是在扩散系统中使用 Transformer，通常用于图像或视频生成。扩散语言模型的定义取决于其文本生成目标，而不只是其神经网络架构。

实际应用#

一个具体应用是文档和代码编辑。扩散语言模型不必在光标后追加文本，而是可以优化整个草稿或选定的文本片段。例如，它可以在重写代码块中变量名、导入语句和注释的同时，重建缺失的函数。当一个位置的修改会影响另一个位置时，同时利用前后文的能力非常有价值。

第二个应用是多模态分析。视觉系统可以从图像中提取事实信息，随后扩散语言模型根据这些观察结果迭代生成报告、说明文字或响应。例如，目标检测可以先识别交通场景中的车辆和人员，然后由语言组件起草事件摘要。

以下工作流使用Ultralytics YOLO26为下游语言生成创建结构化视觉上下文：

from ultralytics import YOLO

# Run object detection on a sample image
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact language-model context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

YOLO 预测工作流返回结构化输出，而Results.summary() 方法则将检测结果转换为更易传递给语言流水线的字典。这种分离使视觉模型能够提供有依据的观察结果，同时由语言模型负责迭代式组合。