Apprendimento self-supervised per la riduzione del rumore: analisi passo passo

Le fotocamere non catturano sempre il mondo nel modo in cui lo vediamo. Un ritratto scattato in condizioni di scarsa illuminazione o una foto di un'auto in rapido movimento possono apparire granulosi, sfocati o distorti.

Sensori lenti, ambienti bui e movimento possono introdurre minuscoli puntini di rumore che ammorbidiscono i bordi e nascondono dettagli importanti. Quando si perde questa nitidezza, anche i sistemi avanzati di intelligenza artificiale e machine learning possono avere difficoltà a comprendere il contenuto di un'immagine, perché molti sistemi intelligenti si basano su questi dettagli fini per funzionare correttamente.

Ad esempio, la visione artificiale è un ramo dell'intelligenza artificiale che consente alle macchine di interpretare immagini e video. Tuttavia, per farlo con precisione, i modelli di IA per la visione hanno bisogno di dati visivi puliti e di alta qualità da cui apprendere.

In particolare, modelli come Ultralytics YOLO11 e il prossimo Ultralytics YOLO26 supportano attività come il rilevamento degli oggetti, la segmentazione delle istanze e la stima della posa, e possono essere addestrati su misura per diversi casi d'uso. Queste attività si basano su segnali visivi chiari come bordi, texture, colori e dettagli strutturali fini.

Quando il rumore oscura queste caratteristiche, il modello riceve segnali di addestramento più deboli, rendendo più difficile l'apprendimento di schemi accurati. Di conseguenza, anche piccole quantità di rumore possono ridurre le prestazioni nelle applicazioni reali.

In precedenza abbiamo visto come il deep learning autosupervisionato riduce il rumore nelle immagini. In questo articolo analizzeremo più a fondo il funzionamento delle tecniche di riduzione del rumore autosupervisionate e il modo in cui aiutano a recuperare informazioni visive significative. Iniziamo!

Tipi comuni di rumore nelle immagini del mondo reale#

Prima di esplorare l'uso dell'apprendimento autosupervisionato nella riduzione del rumore delle immagini, vediamo innanzitutto perché le immagini diventano rumorose.

Le immagini di oggetti e scene del mondo reale sono raramente perfette. Scarsa illuminazione, qualità limitata del sensore e movimento rapido possono introdurre disturbi casuali nei singoli pixel distribuiti nell'immagine. Queste alterazioni a livello dei pixel, note come rumore, riducono la nitidezza complessiva e rendono più difficile vedere i dettagli importanti.

Quando il rumore nasconde bordi, texture e schemi sottili, i sistemi di visione artificiale hanno difficoltà a riconoscere gli oggetti o a interpretare accuratamente le scene. Condizioni diverse producono tipi diversi di rumore, ognuno dei quali influisce sull'immagine a modo proprio.

Fig. 1. Un esempio di come il rumore può causare una maggiore incertezza in un'immagine. (Fonte)

Ecco alcuni dei tipi di rumore più comuni presenti nelle immagini:

• Rumore gaussiano: Questo tipo di rumore appare come una grana tenue e casuale causata da interferenze elettroniche del sensore o da fluttuazioni termiche. Segue una distribuzione gaussiana (normale), in cui piccole variazioni dei pixel sfocano i dettagli fini e riducono la nitidezza complessiva.
• Rumore di Poisson: Chiamato anche rumore di conteggio, questo tipo di rumore si verifica in condizioni di scarsa illuminazione o con tempi di esposizione brevi. La sua varianza aumenta con la luminosità, ma il rumore è spesso più evidente nelle aree scure perché vengono catturati meno fotoni, con conseguente riduzione del rapporto segnale-rumore.
• Rumore sale e pepe: Questo tipo di rumore appare come picchi netti di pixel neri o bianchi. È generalmente causato da errori di trasmissione, corruzione dei bit o sensori difettosi della fotocamera e spesso determina valori dei pixel mancanti o corrotti.
• Rumore speckle: Questo tipo di rumore appare come schemi granulosi simili a macchie ed è comune nelle immagini mediche, radar ed ecografiche. È causato da interferenze e dispersione del segnale, che riducono il contrasto e rendono più difficile rilevare i bordi.

Quando dovresti usare la riduzione del rumore autosupervisionata?#

Quindi, cosa rende speciale la riduzione del rumore autosupervisionata? È particolarmente efficace quando le immagini pulite di riferimento semplicemente non esistono o sono troppo difficili da acquisire.

Questo accade spesso nella fotografia in condizioni di scarsa illuminazione, nelle immagini ad alto ISO, nella diagnostica per immagini medica e scientifica o in qualsiasi ambiente in cui il rumore sia inevitabile e raccogliere dati di riferimento perfetti sia irrealistico. Invece di aver bisogno di esempi puliti, il modello apprende direttamente dalle immagini rumorose che già possiedi, adattandosi ai modelli di rumore specifici della tua fotocamera o del tuo sensore.

La riduzione del rumore autosupervisionata è inoltre un'ottima opzione quando vuoi aumentare le prestazioni delle attività di visione artificiale a valle, ma il tuo dataset è pieno di immagini incoerenti o rumorose. Recuperando bordi, texture e strutture più nitidi, questi metodi aiutano modelli come YOLO a rilevare, segmentare e comprendere le scene in modo più affidabile. In breve, se lavori con dati rumorosi e non sono disponibili immagini di addestramento pulite, la riduzione del rumore autosupervisionata offre spesso la soluzione più pratica ed efficace.

Le tecniche fondamentali alla base della riduzione del rumore autosupervisionata#

Come abbiamo visto in precedenza, la riduzione del rumore autosupervisionata è un approccio di IA basato sul deep learning che consente ai modelli di apprendere direttamente dalle immagini rumorose senza affidarsi a etichette pulite. Si basa sui principi dell'apprendimento autosupervisionato, in cui i modelli generano autonomamente i propri segnali di addestramento a partire dai dati stessi.

In altre parole, un modello può insegnare a se stesso usando le immagini rumorose sia come input sia come fonte del segnale di apprendimento. Confrontando diverse versioni corrotte della stessa immagine o prevedendo i pixel mascherati, il modello impara quali schemi rappresentano la struttura reale e quali sono solo rumore. Attraverso l'ottimizzazione iterativa e il riconoscimento degli schemi, la rete migliora gradualmente la propria capacità di distinguere il contenuto significativo dell'immagine dalle variazioni casuali.

Fig. 2. Un'immagine grezza e un'immagine con il rumore ridotto. (Fonte)

Questo è possibile grazie a specifiche strategie di apprendimento che guidano il modello a separare la struttura stabile dell'immagine dal rumore casuale. Ora esaminiamo più da vicino le tecniche e gli algoritmi fondamentali che semplificano questo processo e il modo in cui ciascun approccio aiuta i modelli a ricostruire immagini più pulite e affidabili.

Metodi di riduzione del rumore delle immagini a coppie#

Molti dei primi metodi di apprendimento autosupervisionato per la riduzione del rumore funzionavano confrontando due versioni rumorose della stessa immagine. Poiché il rumore cambia casualmente ogni volta che un'immagine viene acquisita o corrotta, mentre la struttura reale rimane invariata, queste differenze possono essere usate come segnale di apprendimento per un modello.

Questi approcci sono comunemente chiamati metodi di riduzione del rumore delle immagini a coppie perché si basano sull'uso o sulla generazione di coppie di immagini rumorose durante l'addestramento. Ad esempio, l'approccio Noise2Noise (proposto da Jaakko Lehtinen e dal suo team) addestra un modello usando due immagini rese rumorose in modo indipendente della stessa scena. Poiché i modelli di rumore differiscono tra le due versioni, il modello impara a identificare i dettagli coerenti che rappresentano l'immagine sottostante reale.

Fig. 3. Come funziona Noise2Noise (Fonte)

Nel tempo, questo insegna alla rete a sopprimere il rumore casuale e a preservare la struttura reale, anche se non vede mai un'immagine di riferimento pulita. Considera un semplice scenario in cui scatti due foto di una strada poco illuminata di notte.

Ogni immagine contiene gli stessi edifici, luci e ombre, ma la grana del rumore appare in punti diversi. Confrontando queste due foto rumorose durante l'addestramento, un modello autosupervisionato può imparare quali schemi visivi sono stabili e quali sono causati dal rumore, migliorando infine la propria capacità di ricostruire immagini più pulite.

Metodi di apprendimento autosupervisionato basati su punti ciechi per la riduzione del rumore#

Mentre i metodi a coppie si basano sul confronto tra due versioni della stessa immagine corrotte in modo diverso, i metodi basati su punti ciechi adottano un approccio differente. Consentono al modello di apprendere da una singola immagine rumorosa nascondendo pixel selezionati, in modo che la rete non possa vedere i relativi valori corrotti.

Il modello deve quindi prevedere i pixel nascosti usando solo il contesto circostante. L'idea fondamentale è che il rumore sia casuale, mentre la struttura sottostante di un'immagine non lo sia.

Impedendo al modello di copiare il valore rumoroso di un pixel, i metodi basati su punti ciechi lo incoraggiano a dedurre quale dovrebbe essere quel pixel in base a schemi d'immagine stabili, come bordi vicini, texture o gradienti di colore. Tecniche come Noise2Void (introdotta da Alexander Krull e dal suo team) e Noise2Self (sviluppata da Joshua Batson e Loïc Royer) implementano questo principio mascherando singoli pixel o piccole aree vicine e addestrando il modello a ricostruirli.

Approcci più avanzati, tra cui Noise2Same e PN2V, migliorano la robustezza imponendo previsioni coerenti tra più versioni mascherate o modellando esplicitamente la distribuzione del rumore per stimare l'incertezza. Poiché questi metodi richiedono una sola immagine rumorosa, sono particolarmente utili in ambiti in cui acquisire immagini pulite o abbinate è impraticabile o impossibile, come la microscopia, l'astronomia, l'imaging biomedico o la fotografia in condizioni di scarsa illuminazione.

Metodi di riduzione del rumore basati su Transformer#

La maggior parte dei metodi di riduzione del rumore autosupervisionati a coppie e basati su punti ciechi si basa su reti neurali convoluzionali (CNN) o reti per la riduzione del rumore. Le CNN sono un'ottima opzione per questi approcci perché si concentrano sugli schemi locali, ovvero bordi, texture e piccoli dettagli.

Architetture come U-Net sono ampiamente utilizzate perché combinano caratteristiche dettagliate con informazioni a più scale. Tuttavia, le CNN operano principalmente all'interno di aree locali limitate, il che significa che possono non cogliere relazioni importanti estese su regioni più ampie di un'immagine.

I metodi di riduzione del rumore all'avanguardia basati su Transformer sono stati introdotti per affrontare questa limitazione. Invece di osservare solo i pixel vicini, il metodo proposto utilizza meccanismi di attenzione per comprendere il rapporto tra le diverse parti di un'immagine.

Alcuni modelli usano un'attenzione globale completa, mentre altri usano un'attenzione basata su finestre o gerarchica per ridurre i calcoli, ma in generale sono progettati per catturare strutture a lungo raggio che le CNN da sole non riescono a cogliere. Questa visione più ampia aiuta il modello a ripristinare texture ripetitive, superfici uniformi o oggetti di grandi dimensioni che richiedono informazioni provenienti da tutta l'immagine.

Altri metodi di riduzione del rumore delle immagini#

Oltre alle tecniche autosupervisionate, esistono anche diversi altri modi per ripulire le immagini rumorose. I metodi tradizionali, come il filtraggio bilaterale, la riduzione del rumore con wavelet e le medie non locali, usano semplici regole matematiche per attenuare il rumore cercando al contempo di preservare i dettagli importanti.

Esistono inoltre approcci di deep learning, inclusi modelli supervisionati che apprendono da coppie di immagini pulite e rumorose e reti generative avversarie (GAN) che producono risultati più nitidi e realistici. Tuttavia, questi metodi richiedono generalmente una qualità delle immagini migliore per l'addestramento.

Analisi passo dopo passo del funzionamento della riduzione del rumore delle immagini autosupervisionata#

Dopo aver illustrato diverse tecniche, potresti chiederti se ognuna funzioni in modo completamente diverso, dato che utilizza architetture proprie. Tuttavia, seguono tutte una pipeline simile, che inizia con la preparazione dei dati e termina con la valutazione del modello.

Ora esaminiamo più da vicino il funzionamento, passo dopo passo, del processo complessivo di riduzione del rumore delle immagini autosupervisionata.

Passaggio 1: Preelaborazione e normalizzazione#

Prima che il modello possa iniziare ad apprendere dalle immagini rumorose, il primo passaggio consiste nell'assicurarsi che tutte le immagini abbiano un aspetto coerente. Le foto reali possono variare molto.

Alcune immagini possono essere troppo luminose, altre troppo scure e alcune possono avere colori leggermente alterati. Se inseriamo direttamente queste variazioni in un modello, diventa più difficile concentrarsi sull'apprendimento dell'aspetto del rumore.

Per gestire questo problema, ogni immagine passa attraverso la normalizzazione e una preelaborazione di base. Questo può includere il ridimensionamento dei valori dei pixel a un intervallo standard, la correzione delle variazioni di intensità oppure il ritaglio e il ridimensionamento. L'aspetto fondamentale è che il modello riceva dati puliti da usare come input stabili e confrontabili.

Passaggio 2: Creazione di un segnale di addestramento autosupervisionato#

Dopo la normalizzazione delle immagini, il passaggio successivo consiste nel creare un segnale di addestramento che consenta al modello di apprendere senza vedere mai un'immagine pulita. I metodi di riduzione del rumore autosupervisionati lo fanno assicurandosi che il modello non possa semplicemente copiare i valori rumorosi dei pixel che riceve.

Creano invece situazioni in cui il modello deve affidarsi al contesto circostante dell'immagine, che contiene una struttura stabile, anziché al rumore imprevedibile. Metodi diversi ottengono questo risultato in modi leggermente differenti, ma l'idea fondamentale è la stessa.

Alcuni approcci nascondono o mascherano temporaneamente determinati pixel, così che il modello debba dedurli dai vicini, mentre altri generano una versione corrotta separatamente della stessa immagine rumorosa, in modo che input e obiettivo contengano rumore indipendente. In entrambi i casi, l'immagine obiettivo contiene informazioni strutturali significative, ma impedisce alla rete di accedere al valore rumoroso originale del pixel che dovrebbe prevedere.

Poiché il rumore cambia casualmente mentre l'immagine sottostante rimane coerente, questa configurazione incoraggia naturalmente il modello ad apprendere l'aspetto della struttura reale e a ignorare il rumore che varia da una versione all'altra.

Passaggio 3: Apprendimento della riduzione del rumore per recuperare la struttura dell'immagine#

Con il segnale di addestramento attivo, il modello può iniziare ad apprendere come separare la struttura significativa dell'immagine dal rumore attraverso l'addestramento. Ogni volta che prevede un pixel mascherato o ricorrotto, deve affidarsi al contesto circostante invece che al valore rumoroso che occupava originariamente quel punto.

Nel corso di molte iterazioni o epoche, questo insegna alla rete a riconoscere i tipi di schemi che rimangono stabili in un'immagine, come bordi, texture e superfici uniformi. Impara inoltre a ignorare le fluttuazioni casuali che caratterizzano il rumore.

Ad esempio, considera una foto scattata in condizioni di scarsa illuminazione in cui una superficie appare estremamente granulosa. Sebbene il rumore vari da un pixel all'altro, la superficie sottostante è comunque uniforme. Deducendo ripetutamente i pixel nascosti in queste regioni, il modello migliora gradualmente nell'identificare lo schema stabile al di sotto del rumore e nel ricostruirlo in modo più pulito.

Attraverso il processo di addestramento, la rete apprende una rappresentazione interna della struttura dell'immagine. Questo consente al modello di recuperare dettagli coerenti anche quando l'input è fortemente corrotto.

Passaggio 4: Validazione e risultati della riduzione del rumore#

Dopo che il modello ha imparato a prevedere pixel nascosti o ricorrotti, il passaggio finale consiste nel valutare le sue prestazioni su immagini complete. Durante il test, il modello riceve un'intera immagine rumorosa e produce una versione completamente ripulita in base a ciò che ha appreso sulla struttura dell'immagine. Per misurare l'efficacia del processo, l'output viene confrontato con immagini di riferimento pulite o dataset benchmark standard.

Due metriche comunemente utilizzate sono PSNR (rapporto segnale-rumore di picco), che misura quanto la ricostruzione sia vicina al ground truth pulito, e SSIM (indice di similarità strutturale), che valuta quanto bene vengano preservate caratteristiche importanti come bordi e texture. Punteggi più alti indicano generalmente una riduzione del rumore più accurata e visivamente affidabile.

Dataset di immagini usati per l'addestramento e il benchmarking#

La ricerca sulla riduzione del rumore autosupervisionata, pubblicata tra gli altri nelle riviste IEEE e nelle conferenze CVF, CVPR, ICCV ed ECCV, oltre che ampiamente distribuita su arXiv, si basa spesso su una combinazione di dataset sintetici e del mondo reale per valutare le prestazioni dei modelli di deep learning in condizioni sia controllate sia pratiche. Da un lato, i dataset sintetici partono da immagini pulite e aggiungono rumore artificiale, facilitando il confronto tra i metodi con metriche come PSNR e SSIM.

Ecco alcuni dataset diffusi comunemente utilizzati con rumore sintetico aggiunto per il benchmarking:

• Kodak24: Questo dataset fornisce fotografie di scene naturali di alta qualità, comunemente utilizzate per confrontare visivamente i risultati della riduzione del rumore.
• DIV2K: Questo dataset ad alta risoluzione contiene immagini diversificate e dettagliate, utilizzate per valutare la fedeltà delle texture e la qualità complessiva del ripristino.

I dataset rumorosi del mondo reale, invece, contengono immagini acquisite direttamente dai sensori delle fotocamere in condizioni di scarsa illuminazione, ISO elevato o altre situazioni difficili. Questi dataset verificano se un modello sia in grado di gestire rumore complesso e non gaussiano che non può essere simulato facilmente.

Ecco alcuni diffusi dataset rumorosi del mondo reale:

• SIDD: Questo dataset fornisce coppie di immagini reali rumorose e pulite acquisite con sensori di smartphone in diverse condizioni di illuminazione.
• DND: Include fotografie ad alto ISO che catturano modelli realistici di rumore dei sensori presenti nelle fotocamere per uso comune.

Fig. 4. Un esempio dal dataset DND. (Fonte)

Fattori da considerare durante l'addestramento di un modello di riduzione del rumore autosupervisionato#

Ecco alcuni fattori e limitazioni da considerare se intendi addestrare un modello di riduzione del rumore autosupervisionato basato sul deep learning:

• Adatta la distribuzione del rumore: Le immagini rumorose utilizzate per l'addestramento devono riflettere lo stesso rumore che il modello incontrerà nell'uso reale; un rumore non corrispondente comporta una scarsa capacità di generalizzazione.
• Assicurati che i dati di addestramento siano diversificati: Una variazione limitata può causare overfitting o un'eccessiva uniformità nelle texture complesse.
• Considera i limiti del tipo di rumore: I metodi autosupervisionati hanno maggiori difficoltà con rumore strutturato, correlato o non casuale.
• Esegui test su dispositivi o sensori diversi: Le prestazioni della riduzione del rumore possono variare notevolmente tra fotocamere o sistemi di acquisizione delle immagini.

Punti chiave#

La riduzione del rumore autosupervisionata offre agli appassionati di IA un modo pratico per ripulire le immagini usando solo i dati rumorosi che già possediamo. Imparando a riconoscere la struttura reale al di sotto del rumore, questi metodi possono recuperare dettagli visivi importanti. Con il continuo miglioramento della tecnologia di riduzione del rumore, è probabile che un'ampia gamma di attività di visione artificiale diventi più affidabile nelle situazioni quotidiane.

Entra a far parte della nostra community in crescita! Esplora il nostro repository GitHub per saperne di più sull'IA. Se vuoi creare soluzioni di visione artificiale, dai un'occhiata alle nostre opzioni di licenza. Scopri i vantaggi della visione artificiale nel commercio al dettaglio e guarda come l'IA nel settore manifatturiero sta facendo la differenza!