Diffusion Models

I modelli di diffusione sono una classe di algoritmi di IA generativa che imparano a creare nuovi campioni di dati invertendo un processo graduale di aggiunta del rumore. A differenza dei modelli discriminativi tradizionali utilizzati per attività come il rilevamento degli oggetti o la classificazione, che prevedono le etichette a partire dai dati, i modelli di diffusione si concentrano sulla generazione di contenuti ad alta fedeltà, soprattutto immagini, audio e video, che imitano da vicino le proprietà statistiche dei dati del mondo reale. Sono diventati rapidamente la soluzione all'avanguardia per la sintesi di immagini ad alta risoluzione, superando i precedenti leader come le reti generative avversarie (GANs) grazie alla loro stabilità durante l'addestramento e alla capacità di generare output diversificati.

Come funzionano i modelli di diffusione#

Il meccanismo fondamentale di un modello di diffusione si basa sulla termodinamica di non equilibrio. Il processo di addestramento prevede due fasi distinte: il processo diretto (diffusione) e il processo inverso (rimozione del rumore).

• Processo diretto: questa fase distrugge sistematicamente la struttura di un'immagine di addestramento aggiungendo piccole quantità di rumore gaussiano nel corso di una serie di intervalli temporali. Con il proseguire del processo, i dati complessi, come la foto di un gatto, si trasformano gradualmente in puro rumore casuale e non strutturato.
• Processo inverso: l'obiettivo della rete neurale è imparare a invertire questa corruzione. Partendo dal rumore casuale, il modello prevede il rumore aggiunto a ogni passaggio e lo sottrae. Rimuovendo iterativamente il rumore, il modello "denoizza" il segnale casuale finché non emerge un'immagine coerente e di alta qualità.

Questo perfezionamento iterativo consente un controllo eccezionale sui dettagli fini e sulle texture, un vantaggio significativo rispetto ai metodi di generazione in un singolo passaggio.

Applicazioni nel mondo reale#

I modelli di diffusione sono passati dalla ricerca accademica a strumenti pratici e pronti per la produzione in diversi settori.

• Generazione di dati sintetici: una delle applicazioni più preziose per gli ingegneri della visione artificiale è la creazione di dati sintetici per ampliare i dataset di addestramento. Se un dataset non presenta sufficiente diversità, ad esempio perché mancano immagini di automobili in condizioni nevose, un modello di diffusione può generare variazioni realistiche. Questo contribuisce a migliorare la robustezza dei modelli di visione come YOLO26 quando vengono distribuiti in ambienti imprevedibili.
• Inpainting e modifica delle immagini: i modelli di diffusione alimentano strumenti avanzati di modifica che consentono agli utenti di alterare regioni specifiche di un'immagine. Questa tecnica, nota come inpainting, può rimuovere oggetti indesiderati o riempire parti mancanti di una foto in base al contesto circostante. Architetti e designer la utilizzano per la prototipazione rapida e per visualizzare modifiche a prodotti o ambienti senza dover ricorrere al rendering manuale in 3D.

Distinzione tra i termini principali#

È utile distinguere i modelli di diffusione dalle altre architetture generative:

• Modelli di diffusione vs. GANs: mentre le GANs utilizzano due reti in competizione, un generatore e un discriminatore, e sono note per il campionamento rapido, spesso soffrono del fenomeno del "collasso delle modalità", in cui il modello produce varietà limitate di output. I modelli di diffusione sono generalmente più stabili durante l'addestramento e coprono la distribuzione dei dati in modo più completo, anche se possono essere più lenti durante l'inferenza.
• Modelli di diffusione vs. VAEs: gli autoencoder variazionali (VAEs) comprimono i dati in uno spazio latente e poi li ricostruiscono. Sebbene i VAEs siano veloci, le immagini generate possono talvolta apparire sfocate rispetto ai dettagli nitidi prodotti dai processi di diffusione.

Implementazione pratica#

Sebbene l'addestramento di un modello di diffusione da zero richieda notevoli risorse di calcolo, gli ingegneri possono utilizzare modelli preaddestrati o integrarli nei flussi di lavoro insieme a rilevatori efficienti. Ad esempio, potresti usare un modello di diffusione per generare variazioni dello sfondo di un dataset e poi utilizzare la Ultralytics Platform per annotare e addestrare un modello di rilevamento su questi dati arricchiti.

Di seguito è riportato un esempio concettuale che utilizza torch per simulare un semplice passaggio di diffusione diretta (aggiunta del rumore), alla base dell'addestramento di questi sistemi.

import torch


def add_noise(image_tensor, noise_level=0.1):
    """Simulates a single step of the forward diffusion process by adding Gaussian noise."""
    # Generate Gaussian noise with the same shape as the input image
    noise = torch.randn_like(image_tensor) * noise_level

    # Add noise to the original image
    noisy_image = image_tensor + noise

    # Clamp values to ensure they remain valid image data (e.g., 0.0 to 1.0)
    return torch.clamp(noisy_image, 0.0, 1.0)


# Create a dummy image tensor (3 channels, 64x64 pixels)
dummy_image = torch.rand(1, 3, 64, 64)
noisy_result = add_noise(dummy_image)

print(f"Original shape: {dummy_image.shape}, Noisy shape: {noisy_result.shape}")

Direzioni future#

Il settore si sta evolvendo rapidamente verso i modelli di diffusione latente (LDMs), che operano in uno spazio latente compresso anziché nello spazio dei pixel, riducendo così i costi computazionali. Questa efficienza rende possibile eseguire potenti modelli generativi su hardware consumer. Con il proseguire della ricerca, ci aspettiamo un'integrazione sempre più stretta tra gli input generativi e le attività discriminative, ad esempio utilizzando scenari generati dalla diffusione per convalidare la sicurezza dei veicoli autonomi o migliorare l'analisi delle immagini mediche simulando patologie rare.