Che cosa sono i dati sintetici nella visione artificiale? Panoramica

I dati sono sempre stati un fattore trainante in ambiti come l'analisi dei dati e l'intelligenza artificiale (AI). Il modo in cui raccogliamo, generiamo e utilizziamo i dati sta infatti plasmando il futuro dei sistemi intelligenti. Per esempio, le auto a guida autonoma dipendono da milioni di immagini etichettate e letture dei sensori, dai segnali stradali ai movimenti dei pedoni, per imparare a percorrere le strade in sicurezza.

Uno dei tipi di dati più importanti per alimentare questo progresso, soprattutto in ambiti come i veicoli autonomi e la sicurezza, è costituito dai dati visivi, come immagini e video.

In particolare, il campo dell'AI che consente alle macchine di interpretare queste informazioni visive si chiama computer vision. Aiuta i sistemi a comprendere e analizzare gli input visivi in modo simile agli esseri umani, supportando attività come il riconoscimento facciale, il rilevamento dei segnali stradali e l'analisi delle immagini mediche.

Tuttavia, raccogliere su larga scala dati visivi di alta qualità dal mondo reale può richiedere molto tempo, essere costoso e spesso sollevare problemi di privacy. Per questo i ricercatori stanno esplorando attivamente il concetto di utilizzo dei dati sintetici.

I dati sintetici sono contenuti visivi generati artificialmente che imitano da vicino immagini e video del mondo reale. Vengono creati con tecniche come la modellazione 3D, le simulazioni al computer e metodi di AI generativa come le reti generative avversarie (GANs), che apprendono modelli dai dati reali per produrre nuovi esempi realistici.

Si prevede che presto i dati sintetici svolgeranno un ruolo fondamentale nello sviluppo dell'IA: Gartner prevede che entro il 2030 diventeranno più importanti dei dati del mondo reale. In questo articolo vedremo cosa sono i dati sintetici nell'ambito della visione artificiale, come vengono generati e in quali scenari del mondo reale vengono applicati.

Cosa sono i dati sintetici nella computer vision?#

Supponiamo che tu voglia addestrare un modello di vision AI per rilevare oggetti in ambienti e condizioni diversi. Affidarsi solo ai dati del mondo reale può essere difficile e talvolta limitante.

I dati sintetici, invece, consentono di creare il dataset giusto, con oggetti in varie condizioni generate artificialmente. Usando strumenti come la modellazione 3D e le simulazioni, gli sviluppatori possono generare immagini controllando con precisione fattori come l'illuminazione, le angolazioni e la posizione degli oggetti. Questo offre una maggiore flessibilità nell'addestramento dei modelli rispetto ai dati del mondo reale.

I dati sintetici sono particolarmente utili quando raccogliere dati del mondo reale è difficile o impossibile. Per esempio, per addestrare un modello a riconoscere persone in un'ampia gamma di pose, come mentre corrono, si accovacciano o sono sdraiate, sarebbe necessario acquisire migliaia di foto in molte ambientazioni, angolazioni e condizioni di illuminazione diverse.

Con i dati sintetici, invece, gli sviluppatori possono generare facilmente queste variazioni con etichette accurate, risparmiando tempo e fatica e migliorando le prestazioni del modello.

Fig. 1. Dataset sintetico con diverse pose umane e variazioni di illuminazione (fonte).

Dati sintetici e dati reali nell'AI#

Vediamo più da vicino le differenze tra dati sintetici e dati reali. Entrambi presentano vantaggi e svantaggi quando si tratta di addestrare modelli AI.

Per esempio, i dati sintetici sono utili quando è difficile raccogliere dati reali, ma potrebbero non cogliere ogni minimo dettaglio presente nella vita reale. I dati reali, invece, sono più autentici, ma possono essere difficili da reperire, richiedere molto tempo per l'annotazione e non coprire tutte le situazioni.

Combinando dati sintetici e dati reali, gli sviluppatori possono ottenere il meglio da entrambi. Questo equilibrio aiuta i modelli AI ad apprendere con maggiore precisione, a generalizzare meglio in scenari diversi e a ridurre i bias.

Fig. 2. Dati sintetici e dati reali nell'AI. Immagine dell'autore.

Uno sguardo alla generazione dei dati per i modelli di computer vision#

Dalla creazione di mondi virtuali con strumenti 3D alla generazione di immagini tramite AI generativa, ecco alcuni metodi comuni per creare dati di addestramento sintetici per i modelli di computer vision:

• Modellazione 3D: gli sviluppatori usano software 3D per creare oggetti e scene digitali. Questo consente di controllare completamente aspetti come l'illuminazione, le angolazioni della telecamera e la posizione degli oggetti, ed è utile per generare immagini realistiche di persone, veicoli e ambienti.
• Simulazioni: ricreano situazioni del mondo reale, come il traffico o gli ambienti di fabbrica, usando motori basati sulla fisica. Le simulazioni sono utili per generare in sicurezza dati di addestramento in ambiti come la robotica e le auto a guida autonoma.
• Reti generative avversarie: le GANs sono un tipo di modello di deep learning costituito da due reti: una che crea immagini e una che le valuta. Insieme generano immagini altamente realistiche, come volti umani o scene stradali, apprendendo da esempi reali.
• Generazione procedurale: questa tecnica usa regole predefinite o modelli matematici per generare automaticamente strutture visive complesse, come terreni, edifici o texture. Viene spesso usata nei videogiochi e nelle piattaforme di simulazione e può produrre dataset diversificati e su larga scala con un intervento umano minimo.
• Randomizzazione del dominio: consente di modificare casualmente elementi come l'illuminazione, i colori e le forme degli oggetti nelle scene sintetiche. Questa tecnica mira ad aiutare i modelli a concentrarsi su ciò che conta davvero, rendendoli più adattabili agli ambienti del mondo reale.

Fig. 3. Esempi di dati: (a) basati su modelli 3D, (b) scene sintetiche con più oggetti e (c) immagini provenienti da dataset reali (fonte).

Addestramento di modelli di vision AI con dati sintetici#

Ora che abbiamo illustrato alcuni dei diversi metodi usati per creare dati sintetici, vediamo come vengono impiegati per addestrare i modelli AI.

Una volta generati, i dati sintetici possono in genere essere integrati direttamente nella pipeline di addestramento, proprio come i dati del mondo reale. Solitamente includono le annotazioni necessarie, come etichette degli oggetti, riquadri di delimitazione o maschere di segmentazione, perciò possono essere usati per attività di apprendimento supervisionato, in cui i modelli apprendono da coppie di input e output etichettate, senza bisogno di annotazioni manuali.

Durante l'addestramento, il modello elabora immagini sintetiche per imparare a rilevare caratteristiche, riconoscere schemi e classificare oggetti. Questi dati possono essere usati per creare da zero una prima versione del modello o per arricchire un dataset esistente, contribuendo a migliorarne le prestazioni.

In molti flussi di lavoro, i dati sintetici vengono usati anche per il preaddestramento, fornendo ai modelli solide conoscenze di base prima della messa a punto con esempi del mondo reale. Vengono inoltre usati per aumentare i dataset introducendo variazioni controllate, come diverse condizioni di illuminazione, angolazioni o classi di oggetti rari, così da migliorare la generalizzazione e ridurre l'overfitting.

Combinando dati sintetici e reali, i team possono addestrare modelli più robusti, capaci di funzionare bene in un'ampia gamma di condizioni, riducendo al contempo la dipendenza da attività di raccolta manuale dei dati costose e dispendiose in termini di tempo.

Applicazioni reali dei dati sintetici nella computer vision#

Con i dati sintetici sempre più pratici e accessibili, iniziamo a vederli adottati in diversi casi d'uso reali della vision AI. Vediamo alcune delle applicazioni di computer vision più rilevanti in cui vengono usati.

Uso dei dati sintetici per il rilevamento degli oggetti nei veicoli autonomi#

Per insegnare alle auto a guida autonoma a circolare in sicurezza, occorre addestrare i modelli su un'ampia gamma di scenari, comprese situazioni rare o pericolose. Tuttavia, raccogliere dati reali per questi casi limite può essere difficile e talvolta pericoloso. I dati sintetici possono aiutare a creare scene in cui i modelli imparano a rilevare oggetti in situazioni difficili. Possono anche simulare diverse configurazioni dei sensori, una caratteristica utile perché non tutte le auto a guida autonoma usano lo stesso hardware.

La piattaforma NVIDIA DRIVE Sim ne è un ottimo esempio. Crea dati sintetici di alta qualità usando modelli 3D fotorealistici, ambienti virtuali e simulazioni dei sensori. Può anche generare immagini con più angolazioni di guida a partire da una singola immagine. L'uso di dati sintetici di questo tipo riduce la necessità di test costosi nel mondo reale, fornendo comunque al modello la varietà necessaria per apprendere in modo efficace.

Fig. 4. Creazione di più viste di guida a partire da un'immagine (fonte).

Ridurre i bias nell'AI per l'imaging medico con i dati sintetici#

I modelli di computer vision come Ultralytics YOLO11, che supportano attività come il rilevamento degli oggetti e la segmentazione delle istanze, possono essere addestrati su misura per applicazioni di imaging medico. Tuttavia, i dati di addestramento del mondo reale spesso contengono bias, perché potrebbero non rappresentare adeguatamente pazienti appartenenti a tutti i gruppi demografici.

Per esempio, il cancro della pelle viene diagnosticato meno spesso nelle persone con carnagione scura, il che comporta una disponibilità limitata di dati per queste popolazioni. Questo squilibrio può contribuire a diagnosi errate e a disparità nei risultati delle cure sanitarie, in particolare in ambiti come l'istopatologia, le radiografie del torace e la dermatologia.

Le immagini sintetiche possono aiutare a colmare questa lacuna nei dati. Generando esempi aggiuntivi e diversificati, come varie anomalie tissutali, un'ampia gamma di patologie polmonari e tonalità della pelle associate a diversi tipi di lesione, i dati sintetici possono contribuire a migliorare le prestazioni del modello nei gruppi sottorappresentati.

I ricercatori stanno attualmente lavorando allo sviluppo e alla convalida di dataset sintetici per sostenere questi obiettivi. Stanno anche studiando come usare i dati sintetici per testare strumenti medici e strategie di trattamento senza ricorrere alle cartelle cliniche reali dei pazienti, contribuendo ad accelerare la ricerca e a tutelare la privacy dei pazienti. Grazie a questo lavoro, i dati sintetici stanno aprendo la strada a sistemi di AI medica più inclusivi, accurati ed etici.

Promuovere l'AI in agricoltura con i dati sintetici per l'agricoltura di precisione#

La creazione di sistemi di vision AI per applicazioni agricole dipende dalla disponibilità di grandi quantità di dati etichettati. Tuttavia, raccogliere e annotare immagini di colture, malattie e condizioni dei campi è un processo lento e costoso, spesso limitato da fattori come il meteo, le stagioni di crescita o la difficoltà di raggiungere determinate aree.

Queste sfide rendono difficile addestrare modelli di computer vision a gestire attività come il rilevamento delle malattie delle piante, il monitoraggio delle colture o la previsione dei raccolti. È qui che i dati sintetici possono essere d'aiuto: simulando diversi ambienti agricoli, consentono di generare esempi utili per l'addestramento.

Fig. 5. Uso di immagini sintetiche per migliorare il rilevamento delle malattie (fonte).

Punti chiave#

L'uso dei dati sintetici rappresenta un importante passo avanti nell'addestramento dei modelli AI, soprattutto per i sistemi di computer vision in ambiti in cui i dati del mondo reale sono limitati o difficili da ottenere. Invece di affidarsi esclusivamente a foto o video reali, che possono essere costosi, richiedere molto tempo o sollevare problemi di privacy, i dati sintetici permettono di generare immagini realistiche ed etichettate su richiesta.

Facilitano l'addestramento dei modelli di vision AI per attività come la guida autonoma, il rilevamento delle malattie o il monitoraggio delle colture. Con la continua evoluzione dell'AI, i dati sintetici avranno un ruolo ancora più importante nell'accelerare l'innovazione e migliorare l'accessibilità in tutti i settori.

Scopri di più sull'AI nel nostro repository GitHub e unisciti alla nostra community in crescita. Scopri l'impatto di applicazioni come l'AI nei veicoli autonomi e la computer vision in agricoltura. Esplora le nostre opzioni di licenza e dai vita ai tuoi progetti di vision AI.