Usare l'apprendimento self-supervised per ridurre il rumore nelle immagini

Le immagini fanno parte della nostra vita quotidiana, dalle foto che scattiamo ai video registrati dalle telecamere nei luoghi pubblici. Contengono informazioni preziose e la tecnologia all'avanguardia consente di analizzare e interpretare questi dati.

In particolare, la visione artificiale, un ramo dell'intelligenza artificiale (AI), consente alle macchine di elaborare le informazioni visive e comprendere ciò che vedono, proprio come fanno gli esseri umani. Tuttavia, nelle applicazioni del mondo reale, le immagini sono spesso tutt'altro che perfette.

Il rumore delle immagini causato da pioggia, polvere, scarsa illuminazione o limitazioni dei sensori può nascondere dettagli importanti, rendendo più difficile per i modelli di Vision AI rilevare gli oggetti o interpretare accuratamente le scene. La riduzione del rumore delle immagini aiuta a ridurre questo disturbo, consentendo ai modelli di Vision AI di vedere i dettagli più chiaramente e formulare previsioni migliori.

Fig. 1. Un esempio di riduzione del rumore in un'immagine. (Fonte)

Tradizionalmente, la riduzione del rumore delle immagini si è basata sull'apprendimento supervisionato, in cui i modelli vengono addestrati utilizzando coppie di immagini rumorose e pulite per imparare a rimuovere il rumore. Tuttavia, raccogliere immagini di riferimento perfettamente pulite non è sempre pratico.

Per affrontare questa difficoltà, i ricercatori hanno sviluppato algoritmi di riduzione del rumore delle immagini auto-supervisionati. L'obiettivo è addestrare i modelli di AI ad apprendere direttamente dai dati, creando autonomamente segnali di apprendimento per rimuovere il rumore e conservare i dettagli importanti senza dover disporre di immagini di riferimento pulite.

In questo articolo analizzeremo più da vicino gli algoritmi auto-supervisionati per la riduzione del rumore delle immagini, il loro funzionamento, le tecniche principali alla base e le applicazioni nel mondo reale. Iniziamo!

Che cos'è la riduzione auto-supervisionata del rumore delle immagini?#

Le immagini rumorose possono rendere difficile per i modelli di Vision AI interpretare ciò che è raffigurato. Una foto scattata in condizioni di scarsa illuminazione, ad esempio, può apparire sgranata o sfocata, nascondendo caratteristiche sottili che aiutano un modello a identificare accuratamente gli oggetti.

Nella riduzione del rumore basata sull'apprendimento supervisionato, i modelli vengono addestrati utilizzando coppie di immagini, una rumorosa e una pulita, per imparare a rimuovere il rumore indesiderato. Sebbene questo approccio funzioni bene, raccogliere dati di riferimento perfettamente puliti richiede spesso molto tempo ed è difficile negli scenari del mondo reale.

Per questo motivo, i ricercatori si sono rivolti alla riduzione auto-supervisionata del rumore delle immagini. Questo approccio si basa sul concetto di apprendimento auto-supervisionato, in cui i modelli si addestrano da soli creando i propri segnali di apprendimento a partire dai dati.

Poiché questo metodo non dipende da grandi dataset annotati, la riduzione auto-supervisionata del rumore è più rapida, scalabile e facile da applicare in ambiti quali la fotografia in condizioni di scarsa illuminazione, l'imaging medico e l'analisi di immagini satellitari, dove spesso non sono disponibili immagini di riferimento pulite.

Invece di basarsi su immagini di riferimento pulite, questo approccio si addestra direttamente su dati rumorosi prevedendo pixel mascherati o ricostruendo parti mancanti. Attraverso questo processo, il modello impara a distinguere i dettagli significativi delle immagini dal rumore casuale, producendo risultati più chiari e accurati.

Sebbene possa sembrare simile all'apprendimento non supervisionato, l'apprendimento auto-supervisionato è in realtà un caso particolare di quest'ultimo. La differenza fondamentale è che nell'apprendimento auto-supervisionato il modello crea le proprie etichette o i propri segnali di addestramento a partire dai dati per apprendere un'attività specifica. Al contrario, l'apprendimento non supervisionato si concentra sull'individuazione di schemi o strutture nascoste nei dati senza un'attività esplicita o un obiettivo predefinito.

Strategie di apprendimento nella riduzione auto-supervisionata del rumore#

Nella riduzione auto-supervisionata del rumore, l'apprendimento può avvenire in diversi modi. Alcuni modelli auto-supervisionati per la riduzione del rumore ricostruiscono pixel mascherati o mancanti, mentre altri confrontano più versioni rumorose della stessa immagine per individuare i dettagli coerenti.

Ad esempio, un metodo diffuso noto come apprendimento blind spot si concentra sull'addestramento del modello di riduzione del rumore affinché ignori il pixel che sta ricostruendo e si affidi invece al contesto circostante. Nel tempo, il modello ricostruisce immagini di alta qualità preservando texture, bordi e colori essenziali.

Come funziona l'apprendimento auto-supervisionato per rimuovere il rumore#

Esaminiamo ora il processo alla base della rimozione del rumore mediante apprendimento auto-supervisionato.

Il processo di riduzione auto-supervisionata del rumore inizia generalmente fornendo immagini rumorose al modello di riduzione. Il modello analizza i pixel vicini per stimare l'aspetto che dovrebbe avere ciascun pixel indistinto o mascherato, imparando gradualmente a distinguere il rumore dai dettagli visivi reali.

Consideriamo l'immagine di un cielo scuro e sgranato. Il modello osserva le stelle vicine e gli schemi circostanti per prevedere l'aspetto che dovrebbe avere ciascuna area rumorosa senza il rumore. Ripetendo questo processo sull'intera immagine, impara a separare il rumore casuale dalle caratteristiche significative, producendo un risultato più chiaro e accurato.

In altre parole, il modello prevede una versione più pulita dell'immagine basandosi sul contesto, senza aver mai bisogno di un riferimento perfettamente pulito. Questo processo può essere implementato utilizzando diversi tipi di modelli, ciascuno con punti di forza specifici nella gestione del rumore.

Tipi di modelli utilizzati per la riduzione auto-supervisionata del rumore delle immagini#

Ecco una rapida panoramica dei tipi di modelli comunemente utilizzati per la riduzione auto-supervisionata del rumore delle immagini:

• Reti neurali convoluzionali (CNNs): le CNNs sono modelli di deep learning progettati per riconoscere schemi in piccole regioni di un'immagine. Scansionano le immagini utilizzando filtri per rilevare bordi, forme e texture. Nella riduzione auto-supervisionata del rumore, utilizzano spesso tecniche blind spot, in cui il pixel obiettivo viene escluso dall'input affinché il modello ne preveda il valore basandosi solo sui pixel circostanti. Questo aiuta il modello a evitare di copiare il rumore e a dedurre invece dettagli più puliti.
• Autoencoder: gli autoencoder sono reti neurali che imparano a comprimere e ricostruire i dati. Prima riducono un'immagine a una rappresentazione più compatta (codifica) e poi la ricostruiscono (decodifica). Durante il processo, imparano a catturare caratteristiche visive importanti, come forme e texture, filtrando al contempo il rumore casuale e i dettagli irrilevanti.
• Modelli basati su Transformer: i Transformer sono modelli sviluppati originariamente per l'elaborazione del linguaggio naturale, ma oggi ampiamente utilizzati per le attività di visione. Elaborano l'intera immagine in una sola volta, imparando come le diverse regioni siano correlate tra loro. Questa prospettiva globale consente loro di preservare i dettagli fini e la coerenza strutturale, anche nelle immagini complesse o ad alta risoluzione.

Fig. 2. Uno sguardo a un'architettura basata su CNN utilizzata per la riduzione auto-supervisionata del rumore delle immagini. (Fonte)

Addestrare questi modelli con immagini acquisite in condizioni di illuminazione e impostazioni ISO diverse li aiuta a funzionare bene in molte situazioni del mondo reale. Nelle fotocamere digitali, le impostazioni ISO controllano quanto la fotocamera schiarisce l'immagine amplificando il segnale ricevuto.

Un ISO più elevato rende le foto più luminose negli ambienti bui, ma aumenta anche il rumore e riduce i dettagli. Imparando da immagini acquisite a diversi livelli ISO, i modelli migliorano la capacità di distinguere i dettagli reali dal rumore, producendo risultati più chiari e accurati.

Come impara un algoritmo di riduzione del rumore a distinguere il rumore da ciò che è reale?#

Gli algoritmi di riduzione del rumore imparano a distinguere il rumore dai dettagli reali delle immagini attraverso diverse tecniche di addestramento, distinte dai tipi di modello utilizzati per la riduzione del rumore. Tipi di modello come CNNs, autoencoder e Transformer descrivono la struttura della rete e il modo in cui elabora le informazioni visive.

Le tecniche di addestramento, invece, definiscono il modo in cui il modello apprende. Alcuni metodi utilizzano la previsione basata sul contesto, in cui il modello completa i pixel mancanti o mascherati usando le informazioni delle aree vicine.

Altri utilizzano l'apprendimento basato sulla ricostruzione, in cui il modello comprime un'immagine in una forma più semplice e poi la ricostruisce, aiutandolo a riconoscere strutture significative come bordi e texture e a filtrare il rumore casuale.

Nel loro insieme, il tipo di modello e la tecnica di addestramento determinano l'efficacia con cui un algoritmo di riduzione del rumore può ripulire le immagini. Combinando l'architettura e l'approccio di apprendimento giusti, gli algoritmi auto-supervisionati possono adattarsi a molti tipi di rumore e produrre immagini più chiare e accurate anche senza dati di riferimento puliti.

Tecniche chiave per la riduzione auto-supervisionata del rumore nelle immagini mediante AI#

Ecco alcune delle tecniche di addestramento più utilizzate per consentire un'efficace riduzione auto-supervisionata del rumore delle immagini:

• Noise2Noise: questo metodo addestra un modello utilizzando due versioni rumorose della stessa immagine. Poiché il rumore in ciascuna versione è casuale, il modello impara a concentrarsi sui dettagli coerenti che rappresentano l'immagine reale e a ignorare il rumore. Funziona al meglio quando sono disponibili più acquisizioni rumorose della stessa scena, ad esempio nella fotografia a raffica o nell'imaging medico e scientifico.
• Noise2Void o Noise2Self: queste tecniche si addestrano su una singola immagine rumorosa nascondendo (mascherando) un pixel e chiedendo al modello di prevederne il valore basandosi sui pixel circostanti. In questo modo si impedisce al modello di copiare semplicemente i dati rumorosi e lo si aiuta ad apprendere la struttura naturale delle immagini. Sono particolarmente utili quando è disponibile una sola immagine rumorosa, ad esempio nella microscopia, nell'astronomia o nella fotografia in condizioni di scarsa illuminazione.
• Reti blind spot: sono progettate appositamente affinché il modello non possa vedere il pixel che sta ricostruendo. Si affida invece alle informazioni dell'area circostante per stimare l'aspetto che dovrebbe avere quel pixel. Ciò rende la rimozione del rumore più accurata e imparziale; queste reti vengono spesso combinate con i metodi Noise2Void o Noise2Self nelle attività di riduzione del rumore pixel per pixel.
• Autoencoder mascherati (MAE): in questo approccio, parti dell'immagine vengono nascoste e il modello impara a ricostruire le aree mancanti. In questo modo apprende sia i dettagli fini sia la struttura complessiva, riuscendo a distinguere il contenuto reale dal rumore. Gli autoencoder mascherati sono particolarmente efficaci per immagini ad alta risoluzione o complesse, in cui la comprensione del contesto più ampio migliora il ripristino.

Valutazione dei sistemi di riduzione del rumore delle immagini#

La riduzione del rumore delle immagini richiede un equilibrio attento tra due obiettivi: ridurre il rumore e mantenere intatti i dettagli fini. Una riduzione eccessiva del rumore può rendere un'immagine morbida o sfocata, mentre una riduzione insufficiente può lasciare grana o artefatti indesiderati.

Per capire quanto bene un modello raggiunga questo equilibrio, i ricercatori utilizzano metriche di valutazione che misurano sia la nitidezza dell'immagine sia la conservazione dei dettagli. Queste metriche mostrano quanto efficacemente un modello ripulisca un'immagine senza perdere informazioni visive importanti.

Ecco le metriche di valutazione comuni che aiutano a misurare la qualità delle immagini e le prestazioni nella riduzione del rumore:

• Errore quadratico medio (MSE): misura la differenza quadratica media tra l'immagine originale e quella a cui è stato rimosso il rumore. Evidenzia quanto l'output sia vicino all'originale a livello di pixel. Valori MSE più bassi indicano meno errori e un risultato più accurato.
• Rapporto segnale/rumore di picco (PSNR): questa metrica confronta la potenza del segnale dell'immagine originale con il rumore residuo, espressi in decibel. Viene utilizzata per valutare quanti dettagli originali siano stati conservati dopo la riduzione del rumore. Valori PSNR più elevati indicano immagini più nitide e di qualità superiore.
• Indice di similarità strutturale (SSIM): SSIM valuta struttura, luminosità e contrasto per misurare la similarità tra l'immagine a cui è stato rimosso il rumore e l'originale. Si concentra sul modo in cui gli esseri umani percepiscono le immagini, non solo sui valori numerici grezzi. Punteggi SSIM più elevati indicano che l'immagine appare più naturale e fedele all'originale.
• Metriche percettive: queste metriche utilizzano modelli di deep learning per valutare quanto un'immagine appaia realistica e naturale. Invece di confrontare i singoli pixel, si concentrano sull'aspetto generale, sulla texture e sulla similarità visiva. Nella maggior parte dei casi, punteggi più bassi indicano che l'immagine appare più vicina all'originale e più gradevole visivamente per le persone.

Applicazioni della riduzione auto-supervisionata del rumore#

Ora che abbiamo compreso meglio in cosa consiste la riduzione del rumore, esploriamo come venga applicata alle immagini in scenari del mondo reale.

Utilizzare la riduzione auto-supervisionata del rumore nell'astrofotografia#

Scattare foto nitide di stelle e galassie non è facile. Il cielo notturno è buio, quindi le fotocamere richiedono spesso tempi di esposizione lunghi, che possono introdurre rumore indesiderato. Questo rumore può sfocare i dettagli cosmici fini e rendere più difficili da rilevare i segnali deboli.

Gli strumenti tradizionali di riduzione del rumore possono aiutare a ridurlo, ma spesso eliminano insieme anche dettagli importanti. La riduzione auto-supervisionata del rumore offre un'alternativa più efficace. Imparando direttamente dalle immagini rumorose, il modello di AI può riconoscere gli schemi che rappresentano caratteristiche reali e separarli dal rumore casuale.

Il risultato sono immagini molto più nitide di oggetti celesti come stelle, galassie e Sole, che rivelano dettagli deboli che altrimenti potrebbero passare inosservati. Può inoltre migliorare sottili caratteristiche astronomiche, aumentando la nitidezza delle immagini e rendendo i dati più utili per la ricerca scientifica.

Fig. 3. La riduzione del rumore delle immagini può migliorare le immagini di astrofotografia. (Fonte)

Riduzione auto-supervisionata del rumore per l'imaging medico#

Le scansioni mediche come MRI, CT e le immagini microscopiche spesso acquisiscono rumore che può rendere più difficili da vedere i dettagli minuti. Questo può essere un problema quando i medici devono individuare i primi segnali di una malattia o monitorare i cambiamenti nel tempo.

Il rumore delle immagini può derivare dal movimento del paziente, dalla bassa intensità del segnale o dai limiti alla quantità di radiazioni utilizzabile. Per rendere più nitide le scansioni mediche, i ricercatori hanno studiato metodi di riduzione auto-supervisionata del rumore come Noise2Self e altri approcci simili.

Questi modelli vengono addestrati direttamente su immagini rumorose di MRI cerebrali, imparando autonomamente gli schemi del rumore e ripulendole senza bisogno di esempi perfettamente nitidi. Le immagini elaborate mostravano texture più definite e un contrasto migliore, rendendo più facile identificare le strutture fini. Questi algoritmi di riduzione del rumore basati sull'AI semplificano il flusso di lavoro nell'imaging diagnostico e migliorano l'efficienza dell'analisi in tempo reale.

Fig. 4. Utilizzo di diverse tecniche di riduzione auto-supervisionata del rumore sulle scansioni MRI cerebrali. (Fonte)

Migliorare i sistemi di visione con la riduzione auto-supervisionata del rumore#

Nella maggior parte dei casi, la riduzione del rumore ha un impatto significativo su un'ampia gamma di applicazioni di visione artificiale. Rimuovendo rumore e distorsioni indesiderati, produce dati di input più puliti e coerenti da elaborare per i modelli di Vision AI.

Immagini più nitide migliorano le prestazioni in attività di visione artificiale come il rilevamento degli oggetti, la segmentazione delle istanze e il riconoscimento delle immagini. Ecco alcuni esempi di applicazioni in cui i modelli di Vision AI, come Ultralytics YOLO11 e Ultralytics YOLO26, possono trarre vantaggio dalla riduzione del rumore:

• Ispezione industriale: la riduzione del rumore consente di rilevare con maggiore accuratezza difetti o anomalie superficiali negli ambienti produttivi, migliorando il controllo qualità.
• Guida e navigazione autonome: migliora il rilevamento di oggetti e ostacoli in condizioni difficili come scarsa illuminazione, pioggia o nebbia, aumentando la sicurezza e l'affidabilità complessive.
• Videosorveglianza e sicurezza: la riduzione del rumore migliora la qualità delle immagini nei flussi video con scarsa illuminazione o forte compressione, consentendo una migliore identificazione e un migliore tracciamento di oggetti o persone.
• Imaging subacqueo: la riduzione del rumore diminuisce la dispersione e la distorsione della luce, migliorando la visibilità e il riconoscimento degli oggetti in condizioni subacquee torbide.

Vantaggi e svantaggi della riduzione auto-supervisionata del rumore#

Ecco alcuni vantaggi fondamentali dell'utilizzo della riduzione auto-supervisionata del rumore nei sistemi di imaging:

• Adattabilità al rumore: i metodi di riduzione auto-supervisionata del rumore possono apprendere direttamente dai dati rumorosi senza richiedere riferimenti puliti appaiati. Questo li rende altamente adattabili a un'ampia gamma di livelli e tipi di rumore del mondo reale, come il rumore del sensore, la sfocatura da movimento o le interferenze ambientali.
• Conservazione dei dettagli: quando sono progettati correttamente, questi modelli preservano le texture fini e i bordi essenziali per un'interpretazione accurata delle immagini. Approcci come le reti blind spot e l'apprendimento basato sulla mascheratura aiutano a mantenere le informazioni strutturali riducendo il rumore.
• Minore pre-elaborazione: imparando a trasformare gli input rumorosi in rappresentazioni pulite utilizzando solo i dati disponibili, il modello riduce al minimo la necessità di filtri manuali, algoritmi di riduzione del rumore creati manualmente o dataset di addestramento selezionati.

Nonostante i vantaggi, la riduzione auto-supervisionata del rumore presenta anche alcune limitazioni. Ecco alcuni fattori da considerare:

• Requisiti computazionali: le architetture neurali profonde utilizzate per la riduzione auto-supervisionata del rumore, in particolare i modelli basati su Transformer, possono richiedere una notevole potenza di calcolo e ingenti risorse di memoria rispetto alle tecniche di filtraggio tradizionali.
• Complessità della progettazione del modello: ottenere risultati ottimali richiede un'attenta selezione delle impostazioni del modello, come la strategia di mascheramento e la funzione di perdita, che possono variare in base ai diversi tipi di rumore.
• Difficoltà di valutazione: le metriche comuni della qualità delle immagini non corrispondono sempre a quanto un'immagine a cui è stato rimosso il rumore appaia naturale o realistica, quindi sono spesso necessarie verifiche visive o specifiche per l'attività.

Punti chiave#

La riduzione auto-supervisionata del rumore aiuta i modelli di AI ad apprendere direttamente dalle immagini rumorose, producendo risultati più chiari e preservando i dettagli fini. Funziona efficacemente in diversi scenari complessi, come condizioni di scarsa illuminazione, ISO elevati e immagini ricche di dettagli. Con la continua evoluzione dell'AI, è probabile che queste tecniche svolgano un ruolo essenziale in diverse applicazioni di visione artificiale.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sull'AI. Se vuoi creare il tuo progetto di Vision AI, consulta le nostre opzioni di licenza. Scopri di più su applicazioni come l'AI nella sanità e la Vision AI nel settore retail visitando le nostre pagine dedicate alle soluzioni.