Diffusion Models

Diffusion models are a class of generative AI algorithms that learn to create new data samples by reversing a gradual noise addition process. Unlike traditional discriminative models used for tasks like object detection or classification, which predict labels from data, diffusion models focus on generating high-fidelity content—most notably images, audio, and video—that closely mimics the statistical properties of real-world data. They have rapidly become the state-of-the-art solution for high-resolution image synthesis, overtaking previous leaders like Generative Adversarial Networks (GANs) due to their training stability and ability to generate diverse outputs.

Comment fonctionnent les modèles de diffusion#

Le mécanisme central d'un modèle de diffusion est basé sur la thermodynamique hors équilibre. Le processus d'entraînement comprend deux phases distinctes : le processus direct (diffusion) et le processus inverse (débruitage).

• Processus direct : Cette phase détruit systématiquement la structure d'une image d'entraînement en ajoutant de petites quantités de bruit gaussien sur une série d'intervalles de temps. Au fur et à mesure que le processus se poursuit, les données complexes (comme la photo d'un chat) se transforment progressivement en un bruit aléatoire pur et non structuré.
• Processus inverse : L'objectif du réseau de neurones est d'apprendre à inverser cette corruption. En partant d'un bruit aléatoire, le modèle prédit le bruit qui a été ajouté à chaque étape et le soustrait. En supprimant le bruit de manière itérative, le modèle "débruite" le signal aléatoire jusqu'à ce qu'une image cohérente et de haute qualité apparaisse.

Ce raffinement itératif permet un contrôle exceptionnel sur les détails fins et la texture, un avantage significatif par rapport aux méthodes de génération en une seule étape.

Applications concrètes#

Les modèles de diffusion ont dépassé le stade de la recherche universitaire pour devenir des outils pratiques de niveau production dans divers secteurs.

• Génération de données synthétiques : L'une des applications les plus précieuses pour les ingénieurs en vision par ordinateur est la création de données synthétiques pour augmenter les jeux de données d'entraînement. Si un jeu de données manque de diversité — par exemple, s'il manque des images de voitures dans des conditions de neige —, un modèle de diffusion peut générer des variations réalistes. Cela aide à améliorer la robustesse des modèles de vision comme YOLO26 lorsqu'ils sont déployés dans des environnements imprévisibles.
• Inpainting et retouche d'images : Les modèles de diffusion alimentent des outils de retouche avancés qui permettent aux utilisateurs de modifier des régions spécifiques d'une image. Cette technique, appelée inpainting, peut supprimer des objets indésirables ou combler les parties manquantes d'une photo en fonction du contexte environnant. Les architectes et les designers l'utilisent pour le prototypage rapide, visualisant les changements apportés aux produits ou aux environnements sans avoir besoin de rendu 3D manuel.

Différencier les termes clés#

Il est utile de distinguer les modèles de diffusion des autres architectures génératives :

• Modèles de diffusion vs GAN : Bien que les GAN utilisent deux réseaux en compétition (un générateur et un discriminateur) et soient connus pour un échantillonnage rapide, ils souffrent souvent d'un "effondrement de mode", où le modèle produit des variétés limitées de sorties. Les modèles de diffusion sont généralement plus stables pendant l'entraînement et couvrent la distribution des données de manière plus exhaustive, bien qu'ils puissent être plus lents au moment de l'inférence.
• Modèles de diffusion vs VAE : Les autoencoders variationnels (VAE) compressent les données dans un espace latent puis les reconstruisent. Bien que les VAE soient rapides, leurs images générées peuvent parfois paraître floues par rapport aux détails nets produits par les processus de diffusion.

Mise en œuvre pratique#

Bien que l'entraînement d'un modèle de diffusion à partir de zéro nécessite une puissance de calcul importante, tu peux exploiter des modèles pré-entraînés ou les intégrer dans des flux de travail aux côtés de détecteurs efficaces. Par exemple, tu pourrais utiliser un modèle de diffusion pour générer des variations d'arrière-plan pour un jeu de données, puis utiliser la plateforme Ultralytics pour annoter et entraîner un modèle de détection sur ces données améliorées.

Voici un exemple conceptuel utilisant torch pour simuler une étape de diffusion directe simple (ajout de bruit), qui est la base de l'entraînement de ces systèmes.

import torch


def add_noise(image_tensor, noise_level=0.1):
    """Simulates a single step of the forward diffusion process by adding Gaussian noise."""
    # Generate Gaussian noise with the same shape as the input image
    noise = torch.randn_like(image_tensor) * noise_level

    # Add noise to the original image
    noisy_image = image_tensor + noise

    # Clamp values to ensure they remain valid image data (e.g., 0.0 to 1.0)
    return torch.clamp(noisy_image, 0.0, 1.0)


# Create a dummy image tensor (3 channels, 64x64 pixels)
dummy_image = torch.rand(1, 3, 64, 64)
noisy_result = add_noise(dummy_image)

print(f"Original shape: {dummy_image.shape}, Noisy shape: {noisy_result.shape}")

Orientations futures#

Le domaine évolue rapidement vers les modèles de diffusion latente (LDM), qui fonctionnent dans un espace latent compressé plutôt que dans l'espace des pixels pour réduire les coûts de calcul. Cette efficacité rend possible l'exécution de puissants modèles génératifs sur du matériel grand public. À mesure que la recherche progresse, nous nous attendons à une intégration plus étroite entre les entrées génératives et les tâches discriminatives, comme l'utilisation de scénarios générés par diffusion pour valider la sécurité des véhicules autonomes ou améliorer l'analyse d'images médicales en simulant des pathologies rares.