Usare l’apprendimento auto-supervisionato per rimuovere il rumore dalle immagini

Le immagini fanno parte della nostra vita quotidiana: dalle foto che scattiamo ai video registrati dalle telecamere nei luoghi pubblici. Contengono informazioni preziose e la tecnologia moderna permette di analizzarle e interpretarle.

In particolare, la computer vision, un ramo dell’intelligenza artificiale (AI), consente alle macchine di elaborare informazioni visive e comprendere ciò che vedono, proprio come fanno gli esseri umani. Tuttavia, nelle applicazioni reali, le immagini sono spesso tutt’altro che perfette.

Il rumore nelle immagini, causato da pioggia, polvere, scarsa illuminazione o limiti dei sensori, può nascondere dettagli importanti e rendere più difficile per i modelli di IA visiva rilevare gli oggetti o interpretare le scene con precisione. La riduzione del rumore nelle immagini aiuta a limitarlo, consentendo ai modelli di IA visiva di vedere i dettagli più chiaramente e formulare previsioni migliori.

Fig. 1. Un esempio di riduzione del rumore in un’immagine. (Fonte)

Tradizionalmente, la riduzione del rumore nelle immagini si è basata sull’apprendimento supervisionato, in cui i modelli vengono addestrati usando coppie di immagini rumorose e pulite per imparare a rimuovere il rumore. Tuttavia, raccogliere immagini di riferimento perfettamente pulite non è sempre pratico.

Per affrontare questa sfida, i ricercatori hanno sviluppato metodi di riduzione del rumore nelle immagini self-supervised. Questi metodi puntano ad addestrare i modelli di IA affinché apprendano direttamente dai dati, creando segnali di apprendimento autonomi per rimuovere il rumore e preservare i dettagli importanti senza bisogno di immagini di riferimento pulite.

In questo articolo approfondiremo i denoiser di immagini autosupervisionati, il loro funzionamento, le tecniche principali alla base e le applicazioni nel mondo reale.

Che cos’è la riduzione del rumore nelle immagini self-supervised?#

Le immagini rumorose possono rendere difficile per i modelli di IA visiva interpretare ciò che si vede in una foto. Per esempio, una foto scattata in condizioni di scarsa illuminazione può apparire granulosa o sfocata e nascondere caratteristiche sottili che aiutano un modello a identificare gli oggetti con precisione.

Nella riduzione del rumore basata sull’apprendimento supervisionato, i modelli vengono addestrati con coppie di immagini, una rumorosa e una pulita, per imparare a rimuovere il rumore indesiderato. Sebbene questo approccio funzioni bene, raccogliere dati di riferimento perfettamente puliti richiede spesso molto tempo ed è difficile negli scenari reali.

Per questo i ricercatori si sono rivolti alla riduzione del rumore nelle immagini self-supervised. Questo approccio si basa sul concetto di apprendimento self-supervised, in cui i modelli imparano da soli creando segnali di apprendimento a partire dai dati.

Poiché questo metodo non dipende da grandi set di dati etichettati, la riduzione del rumore self-supervised è più rapida, scalabile e facile da applicare in ambiti come la fotografia in condizioni di scarsa illuminazione, l’imaging medico e l’analisi di immagini satellitari, dove spesso non sono disponibili immagini di riferimento pulite.

Invece di affidarsi a immagini di riferimento pulite, questo approccio addestra i modelli direttamente su dati rumorosi, prevedendo i pixel mascherati o ricostruendo le parti mancanti. Attraverso questo processo, il modello impara a distinguere i dettagli significativi dell’immagine dal rumore casuale, producendo risultati più nitidi e precisi.

Anche se può sembrare simile all’apprendimento non supervisionato, l’apprendimento self-supervised ne è in realtà un caso particolare. La differenza fondamentale è che, nell’apprendimento self-supervised, il modello crea le proprie etichette o i propri segnali di addestramento a partire dai dati per apprendere un’attività specifica. Al contrario, l’apprendimento non supervisionato si concentra sull’individuazione di schemi o strutture nascosti nei dati, senza un’attività esplicita o un obiettivo predefinito.

Strategie di apprendimento nella riduzione del rumore self-supervised#

I denoiser autosupervisionati possono apprendere in diversi modi. Alcuni ricostruiscono pixel mascherati o mancanti, mentre altri confrontano più versioni rumorose della stessa immagine per individuare i dettagli coerenti.

Per esempio, un metodo diffuso, noto come apprendimento a punto cieco, si concentra sull’addestramento del modello di riduzione del rumore affinché ignori il pixel che sta ricostruendo e si basi invece sul contesto circostante. Col tempo, il modello ricostruisce immagini di alta qualità preservando texture, bordi e colori essenziali.

Come funziona l’apprendimento self-supervised per rimuovere il rumore#

Ora vedremo il processo con cui l’apprendimento self-supervised rimuove il rumore.

Il processo di denoising autosupervisionato inizia in genere inserendo immagini rumorose nel modello di denoising. Il modello analizza i pixel vicini per stimare l'aspetto che dovrebbe avere ogni pixel poco chiaro o mascherato, imparando gradualmente a distinguere il rumore dai dettagli visivi reali.

Considera l’immagine di un cielo scuro e granuloso. Il modello osserva le stelle vicine e gli schemi circostanti per prevedere come dovrebbe apparire ogni porzione rumorosa senza il rumore. Ripetendo questo processo su tutta l’immagine, impara a separare il rumore casuale dalle caratteristiche significative, producendo un risultato più nitido e preciso.

In altre parole, il modello prevede una versione più pulita dell’immagine basandosi sul contesto, senza aver mai bisogno di un riferimento perfettamente pulito. Questo processo può essere implementato con diversi tipi di modelli, ciascuno con punti di forza specifici nella gestione del rumore.

Tipi di modelli usati per ridurre il rumore nelle immagini con metodi self-supervised#

Ecco una rapida panoramica dei tipi di modelli comunemente usati per ridurre il rumore nelle immagini con metodi self-supervised:

• Reti neurali convoluzionali (CNNs): le CNNs sono modelli di deep learning progettati per riconoscere schemi in piccole aree di un’immagine. Analizzano le immagini usando filtri per rilevare bordi, forme e texture. Nella riduzione del rumore self-supervised, spesso usano tecniche a punto cieco, che escludono il pixel bersaglio dall’input, così che il modello ne preveda il valore basandosi solo sui pixel circostanti. Questo aiuta il modello a evitare di copiare il rumore e a dedurre invece dettagli più puliti.
• Gli autoencoder sono reti neurali che imparano a comprimere e ricostruire i dati. Per prima cosa riducono un'immagine a una rappresentazione più compatta (codifica), poi la ricostruiscono (decodifica). Durante il processo imparano a cogliere caratteristiche visive importanti, come forme e texture, filtrando il rumore casuale e i dettagli irrilevanti.
• Modelli basati su Transformer: i Transformer sono modelli sviluppati originariamente per l’elaborazione del linguaggio naturale, ma oggi ampiamente utilizzati anche per attività di visione. Elaborano l’intera immagine in una volta sola e imparano le relazioni tra le diverse aree. Questa prospettiva globale permette loro di preservare i dettagli fini e la coerenza strutturale, anche nelle immagini complesse o ad alta risoluzione.

Fig. 2. Panoramica di un’architettura basata su CNN utilizzata per la rimozione del rumore dalle immagini con apprendimento auto-supervisionato. (Fonte)

Addestrare questi modelli con immagini acquisite in condizioni di illuminazione e impostazioni ISO diverse li aiuta a funzionare bene in molte situazioni reali. Nelle fotocamere digitali, le impostazioni ISO controllano quanto la fotocamera schiarisce l’immagine amplificando il segnale ricevuto.

Un ISO più alto rende le foto più luminose negli ambienti bui, ma aumenta anche il rumore e riduce i dettagli. Imparando da immagini acquisite a diversi livelli ISO, i modelli diventano più bravi a distinguere i dettagli reali dal rumore, ottenendo risultati più nitidi e precisi.

Come fa un denoiser a imparare cosa è rumore e cosa è reale?#

I denoiser imparano a distinguere il rumore dai dettagli reali dell’immagine attraverso diverse tecniche di addestramento, che sono distinte dai tipi di modelli usati per la rimozione del rumore. Tipi di modelli come le CNN, gli autoencoder e i transformer descrivono la struttura della rete e il modo in cui elabora le informazioni visive.

Le tecniche di addestramento, invece, definiscono il modo in cui il modello impara. Alcuni metodi usano la previsione basata sul contesto, in cui il modello completa i pixel mancanti o mascherati sfruttando le informazioni delle aree vicine.

Altri usano l’apprendimento basato sulla ricostruzione: il modello comprime un’immagine in una forma più semplice e poi la ricostruisce, imparando così a riconoscere strutture significative come bordi e texture e a filtrare il rumore casuale.

Il tipo di modello e la tecnica di addestramento determinano insieme l’efficacia con cui un denoiser può ripulire le immagini. Combinando l’architettura giusta con il giusto approccio di apprendimento, i denoiser auto-supervisionati possono adattarsi a molti tipi di rumore e produrre immagini più nitide e precise anche senza dati di riferimento puliti.

Tecniche chiave per la rimozione del rumore dalle immagini con IA auto-supervisionata#

Ecco alcune delle tecniche di addestramento più diffuse che consentono di rimuovere efficacemente il rumore dalle immagini con l’apprendimento auto-supervisionato:

• Noise2Noise: questo metodo addestra un modello usando due versioni rumorose della stessa immagine. Poiché il rumore è casuale in ciascuna versione, il modello impara a concentrarsi sui dettagli coerenti che rappresentano l’immagine reale e a ignorare il rumore. Funziona al meglio quando sono disponibili più acquisizioni rumorose della stessa scena, per esempio nella fotografia a raffica o nell’imaging medico e scientifico.
• Noise2Void o Noise2Self: queste tecniche addestrano il modello su una singola immagine rumorosa, nascondendo (mascherando) un pixel e chiedendogli di prevederne il valore in base ai pixel circostanti. In questo modo si impedisce al modello di copiare semplicemente i dati rumorosi e lo si aiuta a imparare la struttura naturale delle immagini. Sono particolarmente utili quando è disponibile una sola immagine rumorosa, per esempio in microscopia, astronomia o fotografia in condizioni di scarsa illuminazione.
• Reti blind-spot: sono progettate appositamente in modo che il modello non possa vedere il pixel che sta ricostruendo. Si basa invece sulle informazioni dell’area circostante per stimare l’aspetto che dovrebbe avere quel pixel. Questo rende la rimozione del rumore più precisa e imparziale; queste reti vengono spesso abbinate ai metodi Noise2Void o Noise2Self per attività di denoising pixel per pixel.
• Autoencoder mascherati (MAE): in questo approccio alcune parti dell'immagine vengono nascoste e il modello impara a ricostruire le aree mancanti. In questo modo apprende sia i dettagli più fini sia la struttura complessiva, riuscendo a distinguere i contenuti reali dal rumore. Gli autoencoder mascherati sono particolarmente efficaci con immagini ad alta risoluzione o complesse, nelle quali comprendere il contesto generale migliora il ripristino.

Valutazione dei sistemi di rimozione del rumore dalle immagini#

La rimozione del rumore dalle immagini richiede un attento equilibrio tra due obiettivi: ridurre il rumore e preservare i dettagli fini. Una rimozione eccessiva può rendere l’immagine morbida o sfocata, mentre una rimozione insufficiente può lasciare grana o artefatti indesiderati.

Per capire quanto bene un modello raggiunge questo equilibrio, i ricercatori usano metriche di valutazione che misurano sia la nitidezza dell’immagine sia la conservazione dei dettagli. Queste metriche mostrano quanto bene un modello ripulisce un’immagine senza perdere informazioni visive importanti.

Ecco alcune metriche di valutazione comuni che aiutano a misurare la qualità delle immagini e le prestazioni nella rimozione del rumore:

• Errore quadratico medio (MSE): misura la differenza quadratica media tra le immagini originali e quelle a cui è stato rimosso il rumore. Indica quanto l’output è vicino all’originale a livello di pixel. Valori MSE più bassi significano meno errori e risultati più precisi.
• Rapporto segnale-rumore di picco (PSNR): questa metrica confronta l’intensità del segnale dell’immagine originale con il rumore residuo, esprimendola in decibel. Si usa per valutare quanti dettagli originali sono stati conservati dopo la rimozione del rumore. Valori PSNR più alti indicano immagini più nitide e di qualità superiore.
• Indice di similarità strutturale (SSIM): l’SSIM valuta la struttura, la luminosità e il contrasto per misurare la somiglianza tra l’immagine a cui è stato rimosso il rumore e quella originale. Si concentra sul modo in cui le persone vedono le immagini, non solo sui valori numerici grezzi. Punteggi SSIM più alti indicano un’immagine dall’aspetto più naturale e fedele all’originale.
• Metriche percettive: queste metriche usano modelli di apprendimento profondo per valutare quanto un’immagine appaia realistica e naturale. Invece di confrontare i singoli pixel, si concentrano sull’aspetto complessivo, sulla texture e sulla somiglianza visiva. Nella maggior parte dei casi, punteggi più bassi indicano che l’immagine è più simile all’originale e più gradevole alla vista.

Applicazioni della rimozione del rumore con apprendimento auto-supervisionato#

Ora che abbiamo capito meglio cos’è la rimozione del rumore, vediamo come viene applicata alle immagini con l’apprendimento auto-supervisionato in situazioni reali.

Uso della rimozione del rumore con apprendimento auto-supervisionato nell’astrofotografia#

Scattare foto nitide di stelle e galassie non è facile. Il cielo notturno è buio, quindi spesso le fotocamere richiedono tempi di esposizione lunghi, che possono introdurre rumore indesiderato. Questo rumore può sfocare i dettagli cosmici più fini e rendere più difficile rilevare i segnali deboli.

Gli strumenti tradizionali per la rimozione del rumore possono aiutare a ridurlo, ma spesso eliminano anche dettagli importanti. La rimozione del rumore con apprendimento auto-supervisionato offre un’alternativa più intelligente. Imparando direttamente dalle immagini rumorose, il modello di IA può riconoscere gli schemi che rappresentano caratteristiche reali e distinguerli dal rumore casuale.

Il risultato sono immagini molto più nitide di oggetti celesti come stelle, galassie e Sole, che rivelano dettagli deboli altrimenti difficili da notare. Può anche mettere in risalto caratteristiche astronomiche poco evidenti, migliorando la nitidezza delle immagini e rendendo i dati più utili per la ricerca scientifica.

Fig. 3. La rimozione del rumore dalle immagini può migliorare le immagini di astrofotografia. (Fonte)

Rimozione del rumore con apprendimento auto-supervisionato nell’imaging medico#

Le immagini mediche, come le risonanze magnetiche, le TAC e le immagini al microscopio, spesso presentano rumore che può rendere più difficile vedere i dettagli più piccoli. Questo può essere un problema quando i medici devono individuare i primi segni di una malattia o monitorare i cambiamenti nel tempo.

Il rumore nelle immagini può dipendere dal movimento del paziente, dalla bassa intensità del segnale o dai limiti alla quantità di radiazioni utilizzabile. Per rendere più nitide le immagini mediche, i ricercatori hanno studiato metodi di rimozione del rumore con apprendimento auto-supervisionato come Noise2Self e approcci simili.

In uno studio, questi modelli sono stati addestrati direttamente su immagini rumorose di risonanza magnetica cerebrale: hanno imparato autonomamente gli schemi del rumore e lo hanno rimosso senza bisogno di esempi perfettamente nitidi. Le immagini elaborate mostravano texture più definite e un contrasto migliore, rendendo più facili da individuare le strutture minute. I denoiser basati sull'IA come questi possono semplificare i flussi di lavoro di diagnostica per immagini e velocizzare l'analisi.

Fig. 4. Applicazione di diverse tecniche di rimozione del rumore con apprendimento auto-supervisionato a scansioni di risonanza magnetica cerebrale. (Fonte)

Migliorare i sistemi di visione con la rimozione del rumore ad apprendimento auto-supervisionato#

Il denoising può avere un impatto significativo su un'ampia gamma di applicazioni di visione artificiale. Rimuovendo rumore e distorsioni indesiderate, produce dati di input più puliti e coerenti da elaborare per i modelli di Vision AI.

Immagini più nitide migliorano le prestazioni nelle attività di visione artificiale, come il rilevamento degli oggetti, la segmentazione delle istanze e il riconoscimento delle immagini. Ecco alcuni esempi di applicazioni in cui i modelli di Vision AI, come Ultralytics YOLO11 e Ultralytics YOLO26, possono trarre vantaggio dalla rimozione del rumore:

• Ispezione industriale: il denoising favorisce un rilevamento più accurato di difetti superficiali o anomalie negli ambienti di produzione, migliorando il controllo della qualità.
• Guida autonoma e navigazione: migliora il rilevamento di oggetti e ostacoli in condizioni difficili, come scarsa illuminazione, pioggia o nebbia, aumentando la sicurezza e l’affidabilità complessive.
• Videosorveglianza e sicurezza: la rimozione del rumore migliora la qualità delle immagini nei flussi video con scarsa illuminazione o fortemente compressi, consentendo di identificare e tracciare meglio oggetti o persone.
• Imaging subacqueo: la rimozione del rumore riduce la diffusione della luce e le distorsioni luminose, migliorando la visibilità e il riconoscimento degli oggetti in acque torbide.

Vantaggi e svantaggi della rimozione del rumore con apprendimento auto-supervisionato#

Ecco alcuni dei principali vantaggi dell’uso della rimozione del rumore con apprendimento auto-supervisionato nei sistemi di imaging:

• Adattabilità al rumore: i metodi di rimozione del rumore con apprendimento auto-supervisionato possono imparare direttamente dai dati rumorosi senza richiedere riferimenti puliti appaiati. Questo li rende molto adattabili a un’ampia gamma di livelli e tipi di rumore reali, come il rumore del sensore, il mosso o le interferenze ambientali.
• Conservazione dei dettagli: se progettati bene, questi modelli preservano texture e bordi fini essenziali per interpretare correttamente le immagini. Approcci come le reti blind-spot e l’apprendimento basato sul mascheramento aiutano a mantenere le informazioni strutturali riducendo il rumore.
• Meno pre-elaborazione: imparando a trasformare gli input rumorosi in rappresentazioni pulite usando solo i dati disponibili, il modello riduce al minimo la necessità di filtri manuali, algoritmi di rimozione del rumore creati ad hoc o dataset di addestramento selezionati.

Nonostante i vantaggi, la rimozione del rumore con apprendimento auto-supervisionato presenta anche alcune limitazioni. Ecco alcuni fattori da considerare:

• Requisiti computazionali: le architetture di reti neurali profonde usate per la rimozione del rumore con apprendimento auto-supervisionato, soprattutto i modelli basati su transformer, possono richiedere notevole potenza di calcolo e memoria rispetto alle tecniche di filtraggio tradizionali.
• Complessità della progettazione del modello: per ottenere risultati ottimali è necessario selezionare con attenzione le impostazioni del modello, come la strategia di mascheramento e la funzione di perdita, che possono variare a seconda del tipo di rumore.
• Sfide di valutazione: le metriche comuni per la qualità delle immagini non sempre corrispondono alla naturalezza o al realismo percepiti di un’immagine a cui è stato rimosso il rumore; spesso sono quindi necessarie verifiche visive o specifiche per il compito.

Punti chiave#

La rimozione del rumore con apprendimento auto-supervisionato aiuta i modelli di IA a imparare direttamente dalle immagini rumorose, producendo risultati più nitidi e preservando i dettagli fini. È efficace in una varietà di situazioni difficili, come condizioni di scarsa illuminazione, ISO elevati e immagini ricche di dettagli. Con la continua evoluzione dell’IA, queste tecniche avranno probabilmente un ruolo essenziale in diverse applicazioni di visione artificiale.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sull’IA. Se vuoi realizzare un progetto di Vision AI, scopri le nostre opzioni di licenza. Scopri di più su applicazioni come l’IA in ambito sanitario e la Vision AI nel commercio al dettaglio visitando le nostre pagine dedicate alle soluzioni.