Cos'è il dato sintetico nella computer vision? Una panoramica

I dati sono sempre stati un fattore trainante in campi come l'analitica e l'intelligenza artificiale (AI). Di fatto, il modo in cui raccogliamo, generiamo e utilizziamo i dati sta plasmando il futuro dei sistemi intelligenti. Ad esempio, le auto a guida autonoma dipendono da milioni di immagini etichettate e letture dei sensori, dai segnali stradali ai movimenti dei pedoni, per imparare a navigare le strade in sicurezza.

Uno dei tipi di dati più vitali che alimentano questo progresso, specialmente in aree come i veicoli autonomi e la sicurezza, è rappresentato dai dati visivi come immagini e video.

In particolare, il campo dell'AI che consente alle macchine di interpretare queste informazioni visive è chiamato computer vision. Aiuta i sistemi a comprendere e analizzare gli input visivi proprio come fanno gli esseri umani, supportando attività come il riconoscimento facciale, il rilevamento dei segnali stradali e l'analisi di immagini mediche.

Tuttavia, raccogliere dataset visivi su larga scala e di alta qualità dal mondo reale può richiedere tempo, essere costoso e spesso solleva preoccupazioni legate alla privacy. Ecco perché i ricercatori stanno esplorando attivamente il concetto di sfruttare i dati sintetici.

Dato sintetico si riferisce a elementi visivi generati artificialmente che imitano da vicino immagini e video del mondo reale. Viene creato utilizzando tecniche come la modellazione 3D, le simulazioni al computer e metodi di AI generativa come le Generative Adversarial Networks (GANs), che apprendono modelli dai dati reali per produrre nuovi esempi realistici.

Si prevede che i dati sintetici giocheranno presto un ruolo critico nello sviluppo dell'AI - con Gartner che prevede che entro il 2030 diventeranno più essenziali dei dati del mondo reale. In questo articolo, esploreremo cosa sono i dati sintetici nel contesto della computer vision, come vengono generati e dove vengono applicati in scenari del mondo reale. Iniziamo!

Link to this sectionCos'è il dato sintetico nella computer vision?#

Supponi di voler addestrare un vision AI model per rilevare oggetti in ambienti e condizioni diverse. Affidarsi solo ai dati del mondo reale può essere difficile e a volte risultare limitante.

Nel frattempo, il dato sintetico può essere usato per creare il dataset giusto, contenente oggetti in varie condizioni create artificialmente. Usando strumenti come la modellazione 3D e le simulazioni, gli sviluppatori possono generare immagini con un controllo preciso su fattori come l'illuminazione, gli angoli e il posizionamento degli oggetti. Questo, a sua volta, offre maggiore flessibilità per l'addestramento dei modelli rispetto ai dati del mondo reale.

Il dato sintetico è particolarmente utile quando raccogliere dati reali è difficile o impossibile. Ad esempio, addestrare un modello a riconoscere le persone in una vasta gamma di pose, come correre, accovacciarsi o sdraiarsi, richiederebbe di catturare migliaia di foto in molte impostazioni, angolazioni e condizioni di illuminazione diverse.

D'altra parte, con i dati sintetici, gli sviluppatori possono generare facilmente queste variazioni con etichette accurate, risparmiando tempo e fatica e migliorando al contempo le prestazioni del modello.

Fig 1. Un dataset sintetico con diverse pose umane e variazioni di illuminazione (fonte).

Link to this sectionDato sintetico vs. reale nell'AI#

Successivamente, diamo uno sguardo più da vicino alle differenze tra dati sintetici e dati reali. Entrambi hanno i loro pro e contro quando si tratta di addestrare modelli di AI.

Ad esempio, il dato sintetico è utile quando i dati reali sono difficili da raccogliere, ma potrebbe non catturare ogni piccolo dettaglio presente nella vita reale. Allo stesso tempo, il dato reale è più autentico, ma può essere difficile da reperire, dispendioso in termini di tempo da etichettare e potrebbe non coprire ogni situazione.

Combinando dati sintetici e reali, gli sviluppatori possono ottenere il meglio da entrambi i mondi. Questo equilibrio aiuta i modelli di AI ad apprendere in modo più accurato, a generalizzare meglio tra diversi scenari e a ridurre i pregiudizi.

Fig 2. Dati sintetici vs. reali nell'AI. Immagine dell'autore.

Link to this sectionUno sguardo alla generazione di dati per i modelli di computer vision#

Dalla costruzione di mondi virtuali con strumenti 3D alla generazione di immagini utilizzando l'AI generativa, ecco alcuni metodi comuni utilizzati per creare dati di addestramento sintetici per i modelli di computer vision:

• Modellazione 3D: Gli sviluppatori usano software 3D per creare oggetti e scene digitali. Ciò consente un controllo totale su elementi come illuminazione, angolazioni della fotocamera e posizionamento degli oggetti ed è utile per generare immagini realistiche di persone, veicoli e ambienti.
• Simulazioni: Queste ricreano situazioni del mondo reale, come il traffico o ambienti di fabbrica, utilizzando motori basati sulla fisica. Le simulazioni sono utili per generare in sicurezza dati di addestramento in campi come la robotica e le auto a guida autonoma.
• Reti generative avversarie: Le GAN sono un tipo di modello di deep learning composto da due reti: una che crea immagini e una che le valuta. Insieme, generano immagini altamente realistiche, come volti umani o viste stradali, imparando da esempi reali.
• Generazione procedurale: Questa tecnica utilizza regole predefinite o modelli matematici per generare automaticamente strutture visive complesse come terreno, edifici o texture. È spesso usata nei giochi e nelle piattaforme di simulazione e può produrre dataset diversificati su larga scala con un minimo input umano.
• Domain randomization: Può cambiare casualmente aspetti come l'illuminazione, i colori e le forme degli oggetti nelle scene sintetiche. L'obiettivo dietro questa tecnica è aiutare i modelli a concentrarsi su ciò che conta davvero, rendendoli più adattabili agli ambienti del mondo reale.

Fig 3. Esempi di dati: (a) basati su modelli 3D, (b) scene sintetiche multi-oggetto e (c) immagini di dataset reali (fonte).

Link to this sectionAddestramento di modelli di Vision AI con dati sintetici#

Ora che abbiamo discusso alcuni dei diversi metodi utilizzati per creare dati sintetici, analizziamo come vengono utilizzati per l'addestramento dei modelli di AI.

Una volta generati, i dati sintetici possono solitamente essere integrati direttamente nella pipeline di addestramento nello stesso modo dei dati del mondo reale. In genere includono le annotazioni necessarie, come etichette degli oggetti, bounding box o maschere di segmentazione, il che significa che possono essere utilizzati per attività di apprendimento supervisionato, dove i modelli apprendono da coppie input-output etichettate, senza bisogno di etichettatura manuale.

Durante l'addestramento, il modello elabora immagini sintetiche per imparare a rilevare caratteristiche, riconoscere modelli e classificare oggetti. Questi dati possono essere usati per costruire una versione iniziale del modello da zero o per arricchire un dataset esistente, contribuendo a migliorare le prestazioni del modello.

In molti workflow, il dato sintetico viene utilizzato anche per il pre-addestramento, fornendo ai modelli una vasta comprensione di base prima di essere rifiniti con esempi del mondo reale. Allo stesso modo, è utilizzato per aumentare i dataset introducendo variazioni controllate, come diverse condizioni di illuminazione, angolazioni o rare classi di oggetti, per migliorare la generalizzazione e ridurre l'overfitting.

Combinando dati sintetici e reali, i team possono addestrare modelli più robusti che funzionano bene in un'ampia gamma di condizioni, riducendo al contempo la dipendenza da sforzi di raccolta dati manuale lunghi e costosi.

Link to this sectionApplicazioni nel mondo reale dei dati sintetici nella computer vision#

Man mano che il dato sintetico diventa più pratico e accessibile, stiamo iniziando a vederlo adottato in una varietà di casi d'uso di Vision AI nel mondo reale. Esploriamo alcune delle applicazioni nella computer vision più di impatto in cui viene utilizzato.

Link to this sectionUtilizzo del dato sintetico per il rilevamento di oggetti nei veicoli autonomi#

Insegnare alle auto a guida autonoma a guidare in sicurezza richiede l'addestramento di modelli su una vasta gamma di scenari, incluse situazioni rare o pericolose. Tuttavia, raccogliere dati del mondo reale per questi casi limite può essere impegnativo e a volte non sicuro. Il dato sintetico può aiutare a creare scene in cui i modelli possono imparare a rilevare oggetti in situazioni difficili. Può anche imitare diverse configurazioni di sensori, il che aiuta poiché non tutte le auto a guida autonoma utilizzano lo stesso hardware.

La piattaforma NVIDIA’s DRIVE Sim è un ottimo esempio di questo. Crea dati sintetici di alta qualità utilizzando modelli 3D fotorealistici, ambienti virtuali e simulazioni di sensori. Può anche generare immagini di molteplici angolazioni di guida da una singola immagine. L'uso di dati sintetici come questo aiuta a ridurre la necessità di costosi test nel mondo reale, fornendo comunque al modello la varietà di cui ha bisogno per apprendere efficacemente.

Fig 4. Creazione di molteplici viste di guida da un'immagine (fonte).

Link to this sectionRidurre i pregiudizi nell'AI per l'imaging medico con i dati sintetici#

I modelli di computer vision come Ultralytics YOLO11 che supportano attività come il rilevamento di oggetti e la segmentazione di istanze possono essere addestrati su misura per applicazioni di imaging medico. Tuttavia, i dati di addestramento del mondo reale contengono spesso pregiudizi, poiché potrebbero non rappresentare adeguatamente i pazienti di tutti i gruppi demografici.

Ad esempio, il cancro della pelle viene diagnosticato meno frequentemente negli individui con tonalità di pelle più scure, portando a dati limitati per quelle popolazioni. Questo squilibrio può contribuire a diagnosi errate e risultati sanitari iniqui, in particolare in campi come l'istopatologia, le radiografie del torace e la dermatologia.

Le immagini sintetiche possono svolgere un ruolo nel fare un passo avanti verso la colmatura di questo divario nei dati. Generando esempi aggiuntivi e diversificati, come anomalie tissutali varie, una vasta gamma di condizioni polmonari e tonalità di pelle con diversi tipi di lesioni, il dato sintetico può aiutare a migliorare le prestazioni del modello tra i gruppi sottorappresentati.

I ricercatori stanno attualmente lavorando allo sviluppo e alla convalida di dataset sintetici per supportare questi obiettivi. Stanno anche esplorando come i dati sintetici possono essere utilizzati per testare strumenti medici e strategie di trattamento senza fare affidamento sulle cartelle cliniche reali dei pazienti, contribuendo ad accelerare la ricerca proteggendo al contempo la privacy dei pazienti. Attraverso questo lavoro, il dato sintetico sta aprendo la strada a sistemi di AI medica più inclusivi, accurati ed etici.

Link to this sectionFar avanzare l'AI agricola con i dati sintetici per l'agricoltura di precisione#

Costruire sistemi di Vision AI per applicazioni agricole dipende dall'accesso a grandi quantità di dati etichettati. Tuttavia, raccogliere ed etichettare immagini di colture, malattie e condizioni del campo è lento, costoso e spesso limitato da fattori come il tempo, le stagioni di crescita o la difficoltà nel raggiungere determinate aree.

Queste sfide rendono difficile addestrare modelli di computer vision a gestire attività come il rilevamento di malattie delle piante, il monitoraggio delle colture o la previsione dei rendimenti. È qui che il dato sintetico può aiutare - imitando diversi ambienti agricoli per generare utili esempi di addestramento.

Fig 5. Uso di immagini sintetiche per un miglior rilevamento delle malattie (fonte).

Link to this sectionPunti chiave#

L'uso di dati sintetici rappresenta un importante passo avanti nell'addestramento dei modelli di AI, specialmente per i sistemi di computer vision in aree in cui i dati del mondo reale sono limitati o difficili da ottenere. Piuttosto che fare affidamento esclusivamente su foto o video reali, che possono essere costosi, richiedere tempo o sollevare preoccupazioni sulla privacy, il dato sintetico ci consente di generare immagini realistiche ed etichettate su richiesta.

Rende più facile addestrare modelli di Vision AI per attività come la guida autonoma, il rilevamento di malattie o il monitoraggio delle colture. Mentre l'AI continua a evolversi, il dato sintetico è destinato a svolgere un ruolo ancora maggiore nell'accelerare l'innovazione e migliorare l'accessibilità in tutti i settori.

Scopri di più sull'AI nel nostro repository GitHub e unisciti alla nostra community in crescita. Scopri l'impatto di applicazioni come l'AI nei veicoli autonomi e la computer vision nell'agricoltura. Esplora le nostre opzioni di licenza e dai vita ai tuoi progetti di Vision AI.