Cos'è il dato sintetico nella computer vision? Una panoramica

I dati sono sempre stati un fattore trainante in campi come l'analitica e l'intelligenza artificiale (AI). Di fatto, il modo in cui raccogliamo, generiamo e utilizziamo i dati sta plasmando il futuro dei sistemi intelligenti. Ad esempio, le auto a guida autonoma dipendono da milioni di immagini etichettate e letture dei sensori, dai segnali stradali ai movimenti dei pedoni, per imparare a navigare le strade in sicurezza.

Uno dei tipi di dati più vitali che alimentano questo progresso, specialmente in aree come i veicoli autonomi e la sicurezza, è rappresentato dai dati visivi come immagini e video.

In particolare, il campo dell'AI che consente alle macchine di interpretare queste informazioni visive è chiamato computer vision. Aiuta i sistemi a comprendere e analizzare gli input visivi proprio come fanno gli umani, supportando attività come il riconoscimento facciale, il rilevamento dei segnali stradali e l'analisi di immagini mediche.

Tuttavia, raccogliere dataset visivi su larga scala e di alta qualità dal mondo reale può richiedere tempo, essere costoso e spesso solleva preoccupazioni legate alla privacy. Ecco perché i ricercatori stanno esplorando attivamente il concetto di sfruttare i dati sintetici.

I synthetic data indicano elementi visivi generati artificialmente che imitano da vicino immagini e video del mondo reale. Vengono creati utilizzando tecniche come la modellazione 3D, simulazioni al computer e metodi di AI generativa come le Generative Adversarial Networks (GANs), che apprendono i pattern dai dati reali per produrre nuovi esempi realistici.

Si prevede che i synthetic data svolgeranno un ruolo fondamentale nello AI development nel prossimo futuro: secondo le previsioni di Gartner, entro il 2030 diventeranno più essenziali dei dati del mondo reale. In questo articolo esploreremo cosa sono i synthetic data nel contesto della computer vision, come vengono generati e dove vengono applicati negli scenari reali. Cominciamo!

Cos'è il dato sintetico nella computer vision?#

Immagina di voler addestrare un vision AI model per rilevare oggetti in ambienti e condizioni diversi. Affidarsi esclusivamente ai dati del mondo reale può essere difficile e talvolta limitante.

Nel frattempo, i synthetic data possono essere utilizzati per creare il dataset ideale, contenente oggetti in varie condizioni create artificialmente. Utilizzando strumenti come la 3D modeling e le simulazioni, gli sviluppatori possono generare immagini con un controllo preciso su fattori quali illuminazione, angolazioni e posizionamento degli oggetti. Questo, a sua volta, offre maggiore flessibilità per l'addestramento del modello rispetto ai dati del mondo reale.

Il dato sintetico è particolarmente utile quando raccogliere dati reali è difficile o impossibile. Ad esempio, addestrare un modello a riconoscere le persone in una vasta gamma di pose, come correre, accovacciarsi o sdraiarsi, richiederebbe di catturare migliaia di foto in molte impostazioni, angolazioni e condizioni di illuminazione diverse.

D'altra parte, con i dati sintetici, gli sviluppatori possono generare facilmente queste variazioni con etichette accurate, risparmiando tempo e fatica e migliorando al contempo le prestazioni del modello.

Fig 1. Un dataset sintetico con diverse pose umane e variazioni di illuminazione (source).

Dato sintetico vs. reale nell'AI#

Ora diamo un'occhiata più da vicino alle differenze tra synthetic data e dati reali. Entrambi presentano vantaggi e svantaggi quando si tratta di training AI models.

Ad esempio, il dato sintetico è utile quando i dati reali sono difficili da raccogliere, ma potrebbe non catturare ogni piccolo dettaglio presente nella vita reale. Allo stesso tempo, il dato reale è più autentico, ma può essere difficile da reperire, dispendioso in termini di tempo da etichettare e potrebbe non coprire ogni situazione.

Combinando dati sintetici e reali, gli sviluppatori possono ottenere il meglio da entrambi i mondi. Questo equilibrio aiuta i modelli di AI ad apprendere in modo più accurato, a generalizzare meglio tra diversi scenari e a ridurre i pregiudizi.

Fig 2. Dati sintetici vs. reali nell'AI. Immagine dell'autore.

Uno sguardo alla generazione di dati per i modelli di computer vision#

Dalla creazione di mondi virtuali con strumenti 3D alla generazione di immagini tramite AI generativa, ecco alcuni metodi comuni utilizzati per creare training data sintetici per i modelli di computer vision:

• Modellazione 3D: Gli sviluppatori usano software 3D per creare oggetti e scene digitali. Ciò consente un controllo totale su elementi come illuminazione, angolazioni della fotocamera e posizionamento degli oggetti ed è utile per generare immagini realistiche di persone, veicoli e ambienti.
• Simulazioni: Queste ricreano situazioni del mondo reale, come il traffico o ambienti di fabbrica, utilizzando motori basati sulla fisica. Le simulazioni sono utili per generare in sicurezza dati di addestramento in campi come la robotica e le auto a guida autonoma.
• Reti generative avversarie: Le GAN sono un tipo di modello di deep learning composto da due reti: una che crea immagini e una che le valuta. Insieme, generano immagini altamente realistiche, come volti umani o viste stradali, imparando da esempi reali.
• Generazione procedurale: Questa tecnica utilizza regole predefinite o modelli matematici per generare automaticamente strutture visive complesse come terreno, edifici o texture. È spesso usata nei giochi e nelle piattaforme di simulazione e può produrre dataset diversificati su larga scala con un minimo input umano.
• Domain randomization: Può cambiare casualmente aspetti come l'illuminazione, i colori e le forme degli oggetti nelle scene sintetiche. L'obiettivo dietro questa tecnica è aiutare i modelli a concentrarsi su ciò che conta davvero, rendendoli più adattabili agli ambienti del mondo reale.

Fig 3. Esempi di dati: (a) basati su modelli 3D, (b) scene sintetiche a oggetti multipli e (c) immagini di dataset reali (source).

Addestramento di modelli di Vision AI con dati sintetici#

Ora che abbiamo discusso alcuni dei diversi metodi utilizzati per creare dati sintetici, analizziamo come vengono utilizzati per l'addestramento dei modelli di AI.

Una volta generati, i dati sintetici possono solitamente essere integrati direttamente nella pipeline di addestramento nello stesso modo dei dati del mondo reale. In genere includono le annotazioni necessarie, come etichette degli oggetti, bounding box o maschere di segmentazione, il che significa che possono essere utilizzati per attività di apprendimento supervisionato, dove i modelli apprendono da coppie input-output etichettate, senza bisogno di etichettatura manuale.

Durante l'addestramento, il modello elabora immagini sintetiche per imparare a rilevare caratteristiche, riconoscere modelli e classificare oggetti. Questi dati possono essere usati per costruire una versione iniziale del modello da zero o per arricchire un dataset esistente, contribuendo a migliorare le prestazioni del modello.

In molti workflow, il dato sintetico viene utilizzato anche per il pre-addestramento, fornendo ai modelli una vasta comprensione di base prima di essere rifiniti con esempi del mondo reale. Allo stesso modo, è utilizzato per aumentare i dataset introducendo variazioni controllate, come diverse condizioni di illuminazione, angolazioni o rare classi di oggetti, per migliorare la generalizzazione e ridurre l'overfitting.

Combinando dati sintetici e reali, i team possono addestrare modelli più robusti che funzionano bene in un'ampia gamma di condizioni, riducendo al contempo la dipendenza da sforzi di raccolta dati manuale lunghi e costosi.

Applicazioni nel mondo reale dei dati sintetici nella computer vision#

Poiché i synthetic data diventano sempre più pratici e accessibili, stiamo iniziando a vederne l'adozione in una varietà di casi d'uso reali della vision AI. Esploriamo alcune delle applications in computer vision di maggior impatto in cui vengono impiegati.

Utilizzo del dato sintetico per il rilevamento di oggetti nei veicoli autonomi#

Insegnare alle auto a guida autonoma a guidare in sicurezza richiede l'addestramento dei modelli su un'ampia gamma di scenari, comprese situazioni rare o pericolose. Tuttavia, raccogliere dati del mondo reale per questi casi limite può essere difficile e talvolta non sicuro. I synthetic data possono aiutare a creare scene in cui i modelli possono imparare a detect oggetti in situazioni difficili. Possono anche imitare diverse configurazioni di sensori, il che è utile poiché non tutte le auto a guida autonoma utilizzano lo stesso hardware.

La piattaforma NVIDIA’s DRIVE Sim ne è un ottimo esempio. Crea synthetic data di alta qualità utilizzando modelli 3D fotorealistici, ambienti virtuali e simulazioni di sensori. Può anche generare immagini di molteplici angolazioni di guida a partire da una singola immagine. L'uso di synthetic data di questo tipo aiuta a ridurre la necessità di costosi test nel mondo reale, fornendo comunque al modello la varietà di cui ha bisogno per apprendere in modo efficace.

Fig 4. Creazione di più viste di guida da una singola immagine (source).

Ridurre i pregiudizi nell'AI per l'imaging medico con i dati sintetici#

Modelli di computer vision come Ultralytics YOLO11 che supportano attività come il rilevamento di oggetti e la segmentazione d'istanza possono essere addestrati su misura per applicazioni di imaging medico. Tuttavia, i dati di addestramento del mondo reale contengono spesso distorsioni (bias), poiché potrebbero non rappresentare adeguatamente i pazienti di tutti i gruppi demografici.

Ad esempio, il skin cancer viene diagnosticato meno frequentemente in individui con tonalità di pelle più scure, con conseguente limitazione dei dati per quelle popolazioni. Questo squilibrio può contribuire a diagnosi errate e a risultati sanitari disuguali, in particolare in campi quali l'istopatologia, le radiografie del torace e la dermatologia.

Le immagini sintetiche possono svolgere un ruolo nel fare un passo avanti verso la colmatura di questo divario nei dati. Generando esempi aggiuntivi e diversificati, come anomalie tissutali varie, una vasta gamma di condizioni polmonari e tonalità di pelle con diversi tipi di lesioni, il dato sintetico può aiutare a migliorare le prestazioni del modello tra i gruppi sottorappresentati.

I ricercatori stanno attualmente lavorando allo sviluppo e alla validazione di dataset sintetici per supportare questi obiettivi. Stanno anche esplorando come i synthetic data possano essere utilizzati per test medical tools e strategie di trattamento senza fare affidamento su cartelle cliniche reali, contribuendo ad accelerare la ricerca proteggendo al contempo la privacy dei pazienti. Attraverso questo lavoro, i synthetic data stanno aprendo la strada a sistemi di AI medica più inclusivi, accurati ed etici.

Far avanzare l'AI agricola con i dati sintetici per l'agricoltura di precisione#

Costruire sistemi di Vision AI per applicazioni agricole dipende dall'accesso a grandi quantità di dati etichettati. Tuttavia, raccogliere ed etichettare immagini di colture, malattie e condizioni del campo è lento, costoso e spesso limitato da fattori come il tempo, le stagioni di crescita o la difficoltà nel raggiungere determinate aree.

Queste sfide rendono difficile addestrare i modelli di computer vision a gestire attività come la rilevazione delle malattie delle piante, il monitoring crops o la previsione delle rese. È qui che i synthetic data possono essere d'aiuto, imitando diversi ambienti agricoli per generare utili esempi di addestramento.

Fig 5. Utilizzo di immagini sintetiche per una migliore rilevazione delle malattie (source).

Punti chiave#

L'uso di dati sintetici rappresenta un importante passo avanti nell'addestramento dei modelli di AI, specialmente per i sistemi di computer vision in aree in cui i dati del mondo reale sono limitati o difficili da ottenere. Piuttosto che fare affidamento esclusivamente su foto o video reali, che possono essere costosi, richiedere tempo o sollevare preoccupazioni sulla privacy, il dato sintetico ci consente di generare immagini realistiche ed etichettate su richiesta.

Rende più facile addestrare modelli di Vision AI per attività come la guida autonoma, il rilevamento di malattie o il monitoraggio delle colture. Mentre l'AI continua a evolversi, il dato sintetico è destinato a svolgere un ruolo ancora maggiore nell'accelerare l'innovazione e migliorare l'accessibilità in tutti i settori.

Scopri di più sull'AI sul nostro GitHub repository e unisciti alla nostra crescente community. Scopri l'impatto di applicazioni come AI in autonomous vehicles e computer vision in agriculture. Esplora le nostre opzioni di licensing e dai vita ai tuoi progetti di vision AI.