Modelli di diffusione

I modelli di diffusione sono una classe di algoritmi di intelligenza artificiale generativa che imparano a creare nuovi campioni di dati campioni di dati invertendo un processo graduale di aggiunta di rumore. Ispirati ai principi della termodinamica termodinamica, questi modelli si sono affermati come lo tecnologia all'avanguardia per la generazione di immagini, audio e video ad alta fedeltà. A differenza dei metodi precedenti che che tentano di produrre un risultato complesso in un unico passaggio, i modelli di diffusione perfezionano iterativamente lo statico casuale in un contenuto coerente, consentendo di ottenere un risultato senza precedenti. contenuti coerenti, consentendo un controllo senza precedenti sui dettagli e sulla struttura semantica in di visione computerizzata.

Il meccanismo di diffusione

Il funzionamento dei modelli di diffusione può essere suddiviso in due fasi distinte: il processo di avanzamento e il processo inverso. processo inverso.

1. Processo in avanti (diffusione): Questa fase prevede la distruzione sistematica della struttura dei dati. Partendo da un'immagine chiara dei dati di addestramento, il modello aggiunge piccole quantità di rumore gaussiano in una serie di passi serie di passi temporali. Alla fine, i dati si degradano in puro rumore casuale non strutturato. Questo processo è tipicamente fisso e segue la regola della catena di Markov.
2. Processo inverso (Denoising): Il compito centrale dell'apprendimento dell 'apprendimento automatico si trova in questa fase. A rete neurale, spessocon architettura a rete U, viene addestrata per prevedere e sottrarre il rumore aggiunto in ogni fase. Imparando a invertire il processo di corruzione, il modello può partire da un rumore puro e "denoising" progressivo per ottenere un'immagine nuova e coerente.

Ricerche come quella fondamentale sui Denoising Diffusion Probabilistic Models (DDPM) hanno stabilito il quadro matematico che rende stabile ed efficace questo matematico che rende stabile ed efficace questo affinamento iterativo.

Diffusione vs. GAN

Prima che i modelli di diffusione salissero alla ribalta, le reti avversarie generative (GAN) erano l'approccio dominante per la sintesi delle immagini. Pur essendo entrambi potenti, differiscono in modo sostanziale:

• Stabilità dell'addestramento: I modelli di diffusione sono generalmente più facili da addestrare. I GAN si basano su un gioco di gioco tra due reti (generatore e discriminatore), che spesso porta al collasso o all'instabilità della modalità. La diffusione utilizza una funzione di perdita più stabile alla previsione del rumore.
• Diversità dell'output: I modelli di diffusione eccellono nella generazione di campioni diversificati e altamente dettagliati, mentre i GAN possono faticare a coprire l'intera distribuzione del set di dati.
• Velocità di inferenza: Esiste un compromesso per cui le GAN generano immagini in un unico passaggio, rendendole più veloci. più veloce. I modelli di diffusione richiedono più passaggi per affinare un'immagine, con conseguente maggiore latenza di inferenza. Tuttavia, le tecniche più recenti come la diffusione latente (utilizzata in Diffusione stabile) eseguono il processo in uno spazio latente spazio latente compresso per aumentare significativamente la velocità sulle GPU consumer.

Applicazioni nel mondo reale

La versatilità dei modelli di diffusione si estende a diversi settori industriali, alimentando strumenti che migliorano la creatività e i flussi di lavoro di progettazione. flussi di lavoro ingegneristici.

• Generazione di dati sintetici: Ottenere dati reali etichettati può essere costoso o sensibile alla privacy. I modelli di diffusione possono generare grandi quantità di dati dati sintetici realistici per addestrare modelli di rilevamento degli oggetti. Per esempio, un un ingegnere potrebbe generare migliaia di immagini sintetiche di rari difetti industriali per addestrare i modelli di rilevamento degli oggetti. YOLO11 per garantire la qualità.
• Creazione di immagini ad alta fedeltà: Strumenti come DALL-E 3, Midjourney e Adobe Firefly sfruttano la diffusione per trasformare le indicazioni di testo in opere d'arte e risorse di livello professionale.
• Imaging medico: In ambito sanitario, i modelli di diffusione aiutano a super-risoluzione, ricostruendo scansioni risonanza magnetica o TAC di alta qualità da input a bassa risoluzione, favorendo un'analisi accurata delle immagini mediche. analisi delle immagini mediche.
• Sintesi video e audio: Il concetto si estende oltre le immagini statiche ai dati temporali. Modelli come Sora di OpenAI e gli strumenti di Runway ML applicano i principi di diffusione per generare sequenze video coerenti e paesaggi sonori realistici. paesaggi sonori realistici.

Attuazione del processo di avanzamento

Per capire come i modelli di diffusione preparano i dati per l'addestramento, è utile visualizzare il processo di avanzamento. Il seguente PyTorch PyTorch mostra come il rumore gaussiano gaussiano a un tensor, simulando una singola fase di degradazione.

import torch


def add_gaussian_noise(image_tensor, noise_level=0.1):
    """Simulates one step of the forward diffusion process by adding noise.

    Args:
        image_tensor (torch.Tensor): Input image tensor.
        noise_level (float): Standard deviation of the noise.
    """
    noise = torch.randn_like(image_tensor) * noise_level
    noisy_image = image_tensor + noise
    return noisy_image


# Create a dummy tensor representing a 640x640 image
clean_img = torch.zeros(1, 3, 640, 640)
noisy_output = add_gaussian_noise(clean_img, noise_level=0.2)

print(f"Output shape: {noisy_output.shape} | Noise added successfully.")

Invertendo questo processo, il modello impara a recuperare il segnale dal rumore, consentendo la generazione di immagini complesse che possono essere utilizzate per aumentare i set di dati per compiti a valle. immagini complesse che possono essere utilizzate per aumentare le serie di dati per compiti come la segmentazione o la classificazione delle immagini.