Диффузионные модели

Диффузионные модели - это класс Генеративные алгоритмы ИИ, которые учатся создавать новые образцов данных путем обращения вспять постепенного процесса добавления шума. Вдохновленные принципами неравновесной термодинамики, эти модели стали самой современной технологией для современной технологией для создания высокоточных изображений, аудио и видео. В отличие от предыдущих методов, которые которые пытаются получить сложный результат за один шаг, диффузионные модели итеративно перерабатывают случайную статику в целостный контент, обеспечивая беспрецедентный контроль над деталями и семантической структурой в задачах компьютерного зрения. задачах компьютерного зрения.

Механизм диффузии

Действие моделей диффузии можно разделить на две отдельные фазы: прямой и обратный процесс. процесс.

1. Передовой процесс (диффузия): На этом этапе происходит систематическое разрушение структуры данных. Начиная с четкого изображения из обучающих данных, модель добавляет небольшое количество гауссовского шума в течение серии временных шагов. В конечном итоге данные превращаются в чистый, неструктурированный случайный шум. Этот процесс обычно фиксирован и происходит по правилу цепи Маркова.
2. Обратный процесс (денуазинг): Основная Задача машинного обучения лежит в этой фазе. A нейронная сеть - частос архитектурой U-Net - обучается обучается предсказывать и вычитать шум, добавляемый на каждом шаге. Обучаясь обратным процессам, модель может начать с чистого шума и постепенно "обесцвечивать" его, чтобы получить совершенно новое, целостное изображение.

Такие исследования, как основополагающая В статье Denoising Diffusion Probabilistic Models (DDPM) была создана математические рамки, которые делают это итеративное уточнение стабильным и эффективным.

Диффузия по сравнению с GAN

До того как диффузионные модели получили широкое распространение, генеративные адверсарные сети (GAN) были доминирующим подходом к синтезу изображений. Хотя оба эти подхода являются мощными, они принципиально отличаются друг от друга:

• Стабильность обучения: Диффузионные модели, как правило, легче поддаются обучению. GAN основываются на состязательной игра между двумя сетями (генератором и дискриминатором), что часто приводит к разрушению режима или нестабильности. Диффузия использует более стабильную функцию потерь, связанную с с предсказанием шума.
• Разнообразие результатов: Диффузионные модели отлично справляются с созданием разнообразных и высокодетализированных выборок, в то время как GAN может быть трудно охватить все распределение набора данных.
• Скорость вывода: Существует компромисс, когда GAN генерируют изображения за один проход, что делает их быстрее. Диффузионные модели требуют нескольких шагов для уточнения изображения, что приводит к более высокой задержке вывода. Однако новые методы такие как скрытая диффузия (используется в Стабильная диффузия) выполняют процесс в сжатом латентном пространстве, что значительно повышает скорость работы на потребительских графических процессорах.

Применение в реальном мире

Универсальность диффузионных моделей распространяется на различные отрасли промышленности, обеспечивая работу инструментов, повышающих творческий потенциал и инженерные рабочие процессы.

• Генерация синтетических данных: Получение маркированных реальных данных может быть дорогостоящим или чувствительным к конфиденциальности. Диффузионные модели могут генерировать огромные объемы реалистичных синтетических данных для обучения надежных моделей обнаружения объектов. Например. инженер может генерировать тысячи синтетических изображений редких промышленных дефектов для обучения YOLO11 для обеспечения качества.
• Создание изображений с высокой точностью: Такие инструменты, как DALL-E 3, Midjourney и Adobe Firefly используют диффузию для превращения текстовых подсказок в профессиональные иллюстрации и активы.
• Медицинская визуализация: В здравоохранении диффузионные модели помогают суперразрешении, восстанавливая высококачественные МРТ или КТ из исходных данных с более низким разрешением, что помогает в точном анализа медицинских изображений.
• Синтез видео и аудио: Концепция выходит за рамки статичных изображений и распространяется на временные данные. Такие модели, как Sora от OpenAI и инструменты от Runway ML применяют принципы диффузии для создания связных видеопоследовательностей и реалистичных звуковых ландшафтов.

Реализация процесса "Форвард

Чтобы понять, как диффузионные модели подготавливают данные для обучения, полезно представить себе дальнейший процесс. На сайте следующий PyTorch фрагмент кода демонстрирует, как гауссовский шум добавляется к tensor, имитируя один шаг деградации.

import torch


def add_gaussian_noise(image_tensor, noise_level=0.1):
    """Simulates one step of the forward diffusion process by adding noise.

    Args:
        image_tensor (torch.Tensor): Input image tensor.
        noise_level (float): Standard deviation of the noise.
    """
    noise = torch.randn_like(image_tensor) * noise_level
    noisy_image = image_tensor + noise
    return noisy_image


# Create a dummy tensor representing a 640x640 image
clean_img = torch.zeros(1, 3, 640, 640)
noisy_output = add_gaussian_noise(clean_img, noise_level=0.2)

print(f"Output shape: {noisy_output.shape} | Noise added successfully.")

Обращая этот процесс вспять, модель учится извлекать сигнал из шума, что позволяет создавать сложные визуальных образов, которые могут быть использованы для дополнения наборов данных для последующих задач например, для сегментации или классификации изображений.