Che cosa sono i dati sintetici nella computer vision? Una panoramica

I dati sono sempre stati un fattore trainante in ambiti come l'analisi e l'intelligenza artificiale (AI). Infatti, il modo in cui raccogliamo, generiamo e utilizziamo i dati sta plasmando il futuro dei sistemi intelligenti. Per esempio, le auto a guida autonoma dipendono da milioni di immagini annotate e letture dei sensori, dai segnali stradali ai movimenti dei pedoni, per imparare a percorrere le strade in sicurezza.

Uno dei tipi di dati più importanti alla base di questo progresso, soprattutto in ambiti come i veicoli autonomi e la sicurezza, sono i dati visivi, come immagini e video.

In particolare, il campo dell'AI che consente alle macchine di interpretare queste informazioni visive si chiama computer vision. Aiuta i sistemi a comprendere e analizzare gli input visivi in modo simile agli esseri umani, supportando attività come il riconoscimento facciale, il rilevamento dei segnali stradali e l'analisi delle immagini mediche.

Tuttavia, raccogliere dataset visivi su larga scala e di alta qualità dal mondo reale può richiedere molto tempo, essere costoso e sollevare spesso problemi di privacy. Per questo motivo, i ricercatori stanno esplorando attivamente il concetto di utilizzo dei dati sintetici.

I dati sintetici sono immagini e video generati artificialmente che imitano da vicino quelli del mondo reale. Vengono creati usando tecniche come la modellazione 3D, le simulazioni al computer e metodi di AI generativa come le reti generative avversarie (GANs), che apprendono i pattern dai dati reali per produrre nuovi esempi realistici.

Si prevede che i dati sintetici svolgeranno presto un ruolo fondamentale nello sviluppo dell'AI: Gartner prevede che entro il 2030 diventeranno più importanti dei dati del mondo reale. In questo articolo esploreremo cosa sono i dati sintetici nel contesto della computer vision, come vengono generati e dove vengono applicati in scenari reali. Iniziamo!

Cosa sono i dati sintetici nella computer vision?#

Supponiamo che tu voglia addestrare un modello di AI per la visione per rilevare oggetti in ambienti e condizioni diversi. Affidarsi esclusivamente ai dati del mondo reale può essere difficile e talvolta limitante.

I dati sintetici, invece, possono essere utilizzati per creare il dataset giusto, contenente oggetti in diverse condizioni create artificialmente. Usando strumenti come la modellazione 3D e le simulazioni, gli sviluppatori possono generare immagini controllando con precisione fattori come illuminazione, angolazioni e posizione degli oggetti. Questo offre maggiore flessibilità per l'addestramento dei modelli rispetto ai dati del mondo reale.

I dati sintetici sono particolarmente utili quando raccogliere dati dal mondo reale è difficile o impossibile. Per esempio, addestrare un modello a riconoscere persone in un'ampia gamma di pose, come correre, accovacciarsi o sdraiarsi, richiederebbe migliaia di foto scattate in molte impostazioni, angolazioni e condizioni di illuminazione diverse.

Con i dati sintetici, invece, gli sviluppatori possono generare facilmente queste variazioni con annotazioni accurate, risparmiando tempo e lavoro e migliorando al contempo le prestazioni del modello.

Fig. 1. Un dataset sintetico con diverse pose umane e variazioni di illuminazione (fonte).

Dati sintetici e dati reali nell'AI#

Ora esaminiamo più da vicino le differenze tra dati sintetici e dati reali. Entrambi presentano vantaggi e svantaggi quando si tratta di addestrare modelli di AI.

Per esempio, i dati sintetici sono utili quando i dati reali sono difficili da raccogliere, ma potrebbero non catturare ogni minimo dettaglio presente nella vita reale. Allo stesso tempo, i dati reali sono più autentici, ma possono essere difficili da reperire, richiedere molto tempo per l'annotazione e non coprire ogni situazione.

Combinando dati sintetici e reali, gli sviluppatori possono ottenere il meglio di entrambi. Questo equilibrio aiuta i modelli di AI ad apprendere con maggiore precisione, a generalizzare meglio in scenari diversi e a ridurre i bias.

Fig. 2. Dati sintetici e dati reali nell'AI. Immagine dell'autore.

Uno sguardo alla generazione dei dati per i modelli di computer vision#

Dalla costruzione di mondi virtuali con strumenti 3D alla generazione di immagini tramite l'AI generativa, ecco alcuni metodi comuni utilizzati per creare dati di addestramento sintetici per i modelli di computer vision:

• Modellazione 3D: gli sviluppatori usano software 3D per creare oggetti e scene digitali. Questo consente di controllare completamente aspetti come illuminazione, angolazioni della fotocamera e posizione degli oggetti, ed è utile per generare immagini realistiche di persone, veicoli e ambienti.
• Simulazioni: ricreano situazioni del mondo reale, come il traffico o gli ambienti di fabbrica, usando motori basati sulla fisica. Le simulazioni sono utili per generare in sicurezza dati di addestramento in ambiti come la robotica e le auto a guida autonoma.
• Reti generative avversarie: le GANs sono un tipo di modello di deep learning composto da due reti: una che crea le immagini e una che le valuta. Insieme generano immagini altamente realistiche, come volti umani o panorami stradali, apprendendo da esempi reali.
• Generazione procedurale: questa tecnica usa regole predefinite o modelli matematici per generare automaticamente strutture visive complesse come terreni, edifici o texture. Viene spesso utilizzata nei videogiochi e nelle piattaforme di simulazione e può produrre dataset diversificati su larga scala con un intervento umano minimo.
• Randomizzazione del dominio: può modificare casualmente elementi come illuminazione, colori e forme degli oggetti nelle scene sintetiche. L'obiettivo di questa tecnica è aiutare i modelli a concentrarsi su ciò che conta davvero, rendendoli più adattabili agli ambienti del mondo reale.

Fig. 3. Esempi di dati: (a) basati su modelli 3D, (b) scene sintetiche con più oggetti e (c) immagini di dataset reali (fonte).

Addestramento di modelli di AI per la visione con dati sintetici#

Ora che abbiamo illustrato alcuni dei diversi metodi utilizzati per creare dati sintetici, vediamo come vengono impiegati per addestrare i modelli di AI.

Una volta generati, i dati sintetici possono generalmente essere integrati direttamente nella pipeline di addestramento, allo stesso modo dei dati del mondo reale. In genere includono le annotazioni necessarie, come etichette degli oggetti, riquadri di delimitazione o maschere di segmentazione; ciò significa che possono essere utilizzati per attività di apprendimento supervisionato, in cui i modelli apprendono da coppie input-output annotate, senza bisogno di annotazione manuale.

Durante l'addestramento, il modello elabora immagini sintetiche per imparare a rilevare caratteristiche, riconoscere pattern e classificare oggetti. Questi dati possono essere utilizzati per costruire da zero una versione iniziale del modello o per arricchire un dataset esistente, contribuendo a migliorarne le prestazioni.

In molti workflow, i dati sintetici vengono utilizzati anche per il preaddestramento, fornendo ai modelli una comprensione di base ampia prima del fine-tuning con esempi del mondo reale. Allo stesso modo, vengono usati per aumentare i dataset introducendo variazioni controllate, come condizioni di illuminazione, angolazioni o classi di oggetti rare, così da migliorare la generalizzazione e ridurre l'overfitting.

Combinando dati sintetici e reali, i team possono addestrare modelli più robusti, capaci di funzionare bene in un'ampia gamma di condizioni, riducendo al contempo la dipendenza da attività di raccolta manuale dei dati costose e dispendiose in termini di tempo.

Applicazioni dei dati sintetici nella computer vision nel mondo reale#

Con i dati sintetici che diventano sempre più pratici e accessibili, iniziamo a vederli adottare in diversi casi d'uso reali dell'AI per la visione. Esploriamo alcune delle più importanti applicazioni nella computer vision in cui vengono utilizzati.

Uso dei dati sintetici per il rilevamento degli oggetti nei veicoli autonomi#

Insegnare alle auto a guida autonoma a guidare in sicurezza richiede l'addestramento dei modelli su un'ampia gamma di scenari, comprese situazioni rare o pericolose. Tuttavia, raccogliere dati dal mondo reale per questi casi limite può essere difficile e talvolta non sicuro. I dati sintetici possono aiutare a creare scene in cui i modelli imparano a rilevare oggetti in situazioni difficili. Possono anche simulare diverse configurazioni dei sensori, un aspetto utile perché non tutte le auto a guida autonoma usano lo stesso hardware.

La piattaforma NVIDIA’s DRIVE Sim ne è un ottimo esempio. Crea dati sintetici di alta qualità usando modelli 3D fotorealistici, ambienti virtuali e simulazioni dei sensori. Può anche generare immagini da più angolazioni di guida a partire da una singola immagine. L'uso di dati sintetici di questo tipo contribuisce a ridurre la necessità di test costosi nel mondo reale, fornendo comunque al modello la varietà necessaria per apprendere efficacemente.

Fig. 4. Creazione di più viste di guida a partire da un'immagine (fonte).

Riduzione dei bias nell'AI per l'imaging medico con dati sintetici#

I modelli di computer vision come Ultralytics YOLO11, che supportano attività come il rilevamento degli oggetti e la segmentazione delle istanze, possono essere addestrati su misura per applicazioni di imaging medico. Tuttavia, i dati di addestramento del mondo reale spesso contengono bias, poiché potrebbero non rappresentare adeguatamente pazienti di tutti i gruppi demografici.

Per esempio, il cancro della pelle viene diagnosticato meno frequentemente nelle persone con tonalità della pelle più scure, con conseguente scarsità di dati per queste popolazioni. Questo squilibrio può contribuire a diagnosi errate e a esiti sanitari disomogenei, in particolare in ambiti come l'istopatologia, le radiografie del torace e la dermatologia.

Le immagini sintetiche possono contribuire a ridurre questo divario nei dati. Generando esempi aggiuntivi e diversificati, come anomalie dei tessuti di vario tipo, un'ampia gamma di patologie polmonari e tonalità della pelle con diversi tipi di lesioni, i dati sintetici possono aiutare a migliorare le prestazioni dei modelli nei gruppi sottorappresentati.

I ricercatori stanno attualmente lavorando allo sviluppo e alla convalida di dataset sintetici per sostenere questi obiettivi. Stanno inoltre esplorando come utilizzare i dati sintetici per testare strumenti medici e strategie terapeutiche senza affidarsi alle cartelle cliniche reali dei pazienti, contribuendo ad accelerare la ricerca e a proteggere la privacy dei pazienti. Grazie a questo lavoro, i dati sintetici stanno aprendo la strada a sistemi di AI medica più inclusivi, accurati ed etici.

Promuovere l'AI agricola con dati sintetici per l'agricoltura di precisione#

La costruzione di sistemi di AI per la visione destinati alle applicazioni agricole dipende dall'accesso a grandi quantità di dati annotati. Tuttavia, raccogliere e annotare immagini di colture, malattie e condizioni dei campi è lento, costoso e spesso limitato da fattori come il meteo, le stagioni di crescita o la difficoltà di raggiungere determinate aree.

Queste difficoltà rendono complesso addestrare modelli di computer vision a svolgere attività come il rilevamento delle malattie delle piante, il monitoraggio delle colture o la previsione delle rese. È qui che i dati sintetici possono aiutare: simulando diversi ambienti agricoli per generare esempi di addestramento utili.

Fig. 5. Uso di immagini sintetiche per migliorare il rilevamento delle malattie (fonte).

Punti chiave#

L'uso dei dati sintetici rappresenta un importante passo avanti nell'addestramento dei modelli di AI, soprattutto per i sistemi di computer vision in ambiti in cui i dati del mondo reale sono limitati o difficili da ottenere. Invece di affidarsi esclusivamente a foto o video reali, che possono essere costosi, richiedere molto tempo o sollevare problemi di privacy, i dati sintetici consentono di generare immagini realistiche e annotate su richiesta.

Semplificano l'addestramento dei modelli di AI per la visione in attività come la guida autonoma, il rilevamento delle malattie o il monitoraggio delle colture. Con la continua evoluzione dell'AI, i dati sintetici sono destinati a svolgere un ruolo ancora più importante nell'accelerare l'innovazione e migliorare l'accessibilità in tutti i settori.

Scopri di più sull'AI nel nostro repository GitHub e unisciti alla nostra community in crescita. Scopri l'impatto di applicazioni come l'AI nei veicoli autonomi e la computer vision nell'agricoltura. Esplora le nostre opzioni di licenza e porta alla vita i tuoi progetti di AI per la visione.