Diffusion Models

扩散模型是一类生成式 AI 算法，通过逆转逐渐添加噪声的过程来学习创建新的数据样本。与用于目标检测或分类等任务、根据数据预测标签的传统判别模型不同，扩散模型专注于生成高保真内容（最显著的是图像、音频和视频），这些内容高度模仿真实数据的统计特性。由于其训练稳定性和生成多样化输出的能力，它们已迅速成为高分辨率图像合成的最先进解决方案，超越了诸如生成对抗网络 (GAN) 等先前的领先技术。

扩散模型的工作原理#

扩散模型的核心机制基于非平衡热力学。训练过程包含两个截然不同的阶段：前向过程（扩散）和反向过程（去噪）。

• 前向过程： 这一阶段通过在一系列时间步长中添加少量高斯噪声，系统地破坏训练图像的结构。随着过程的继续，复杂的数据（如猫的照片）逐渐转变为纯粹的、无结构的随机噪声。
• 逆向过程： 神经网络的目标是学习如何逆转这种破坏。从随机噪声开始，模型预测在每一步中添加的噪声并将其减去。通过迭代去除噪声，模型“去噪”随机信号，直到出现清晰、高质量的图像。

这种迭代细化允许对细节和纹理进行出色的控制，这是优于单步生成方法的一大优势。

实际应用#

扩散模型已从学术研究领域转向各行业的实用型生产级工具。

• 合成数据生成： 对于计算机视觉工程师而言，最有价值的应用之一是创建合成数据来增强训练数据集。如果数据集缺乏多样性——例如缺少雪天汽车的图像——扩散模型可以生成逼真的变体。这有助于提高诸如 YOLO26 等视觉模型在不可预测环境中部署时的鲁棒性。
• 图像修复与编辑： 扩散模型支持先进的编辑工具，允许用户修改图像的特定区域。这种称为修复（inpainting）的技术可以根据周围的上下文删除不需要的对象或填充照片中缺失的部分。建筑师和设计师利用此功能进行快速原型设计，无需手动 3D 渲染即可可视化产品或环境的变更。

区分关键术语#

将扩散模型与其他生成式架构区分开来很有帮助：

• 扩散模型与 GAN 对比： 虽然 GAN 使用两个竞争的网络（生成器和判别器）且以快速采样著称，但它们经常遭受“模式崩塌”的困扰，即模型产生有限种类的输出。扩散模型在训练期间通常更稳定，并且能更全面地覆盖数据的分布，尽管它们在推理时可能会较慢。
• 扩散模型与 VAE 对比： 变分自编码器 (VAE) 将数据压缩到潜在空间然后进行重建。虽然 VAE 速度很快，但与扩散过程产生的清晰细节相比，它们生成的图像有时会显得模糊。

实际实施#

虽然从头开始训练扩散模型需要大量的计算资源，但工程师可以利用预训练模型或将它们与高效检测器一起集成到工作流中。例如，你可能会使用扩散模型为数据集生成背景变体，然后使用 Ultralytics Platform 在该增强数据上标注并训练检测模型。

以下是一个使用 torch 来模拟简单前向扩散步骤（添加噪声）的概念示例，这是训练这些系统的基础。

import torch


def add_noise(image_tensor, noise_level=0.1):
    """Simulates a single step of the forward diffusion process by adding Gaussian noise."""
    # Generate Gaussian noise with the same shape as the input image
    noise = torch.randn_like(image_tensor) * noise_level

    # Add noise to the original image
    noisy_image = image_tensor + noise

    # Clamp values to ensure they remain valid image data (e.g., 0.0 to 1.0)
    return torch.clamp(noisy_image, 0.0, 1.0)


# Create a dummy image tensor (3 channels, 64x64 pixels)
dummy_image = torch.rand(1, 3, 64, 64)
noisy_result = add_noise(dummy_image)

print(f"Original shape: {dummy_image.shape}, Noisy shape: {noisy_result.shape}")

未来方向#

该领域正迅速向潜在扩散模型 (LDM) 发展，它们在压缩的潜在空间而不是像素空间中运行，以降低计算成本。这种效率使得在消费级硬件上运行强大的生成模型成为可能。随着研究的继续，我们期待生成式输入与判别式任务之间更紧密的集成，例如利用扩散生成的场景来验证自动驾驶汽车的安全性，或者通过模拟罕见病理来改进医学图像分析。