Synthetic Data Generation
La generazione di dati sintetici crea dati artificiali per l’addestramento con simulatori, regole procedurali, modelli generativi e LLM, spesso con etichette esatte.
La generazione di dati sintetici è il processo che produce immagini, video, letture di sensori, tabelle o testo artificiali mediante un simulatore, regole procedurali o un modello generativo, affinché un modello di apprendimento automatico possa essere addestrato o valutato su questi dati. Il risultato è costituito da dati sintetici; la qualità di tali dati dipende da quattro scelte effettuate durante la generazione: il metodo usato per creare i campioni, il modo in cui vengono associate le etichette, l'ampiezza delle variazioni di ogni scena e il metodo di confronto del risultato con i dati reali. Nella visione artificiale, il vantaggio principale è che un generatore in grado di posizionare ogni oggetto può anche scriverne l'annotazione dei dati, in modo preciso e gratuito.
Principali metodi di generazione#
I simulatori creano una scena 3D a partire da risorse, ne impostano l'illuminazione, i materiali e la telecamera, quindi renderizzano immagini insieme a maschere precise, mappe di profondità e riquadri di delimitazione, perché la descrizione della scena registra la posizione di ogni elemento. Simulatori open source di guida come CARLA producono flussi di immagini da telecamere, LiDAR e radar per i veicoli autonomi, mentre i simulatori di robotica fanno lo stesso per la presa e la navigazione. La randomizzazione del dominio varia texture, illuminazione e pose tra i rendering, così i modelli addestrati su di essi si adattano alle telecamere reali.
La generazione procedurale usa script e regole invece di una scena completa. La composizione tramite ritaglio e incolla, resa popolare dall'articolo del 2017 «Cut, Paste and Learn» della Carnegie Mellon University, incolla ritagli di oggetti segmentati su nuovi sfondi e registra ogni riquadro incollato come etichetta. La versione più semplice disegna forme in posizioni casuali e il generatore scrive l'etichetta di ogni oggetto mentre lo disegna:
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")Stampa wrote 100 images with 256 exact box labels. Ogni riga segue il formato delle etichette YOLO e memorizza la classe e il centro, la larghezza e l'altezza del riquadro come frazioni delle dimensioni dell'immagine; nessuna riga ha richiesto l'intervento di un annotatore umano.
I modelli generativi apprendono l'aspetto dei dati reali e ne campionano nuovi esempi. Le reti generative avversarie (GAN) e i modelli di diffusione producono immagini fotorealistiche a partire da rumore, un prompt testuale o un'immagine di riferimento; metodi di condizionamento come ControlNet fissano la disposizione, mantenendo note le posizioni degli oggetti. Senza questo condizionamento, le immagini generate devono essere etichettate in seguito. Per le tabelle, i sintetizzatori statistici adattano una distribuzione congiunta ai record reali usando copule gaussiane, reti bayesiane o GAN condizionali come CTGAN (NeurIPS 2019), quindi campionano nuove righe.
I modelli linguistici di grandi dimensioni generano dati testuali: istruzioni, dialoghi, esercizi di programmazione e tracce di ragionamento. Microsoft ha addestrato phi-1, un modello di programmazione con 1,3 miliardi di parametri, su 6 miliardi di token di testo web filtrato e 1 miliardo di token di libri di testo ed esercizi scritti da GPT-3.5; il modello ha raggiunto il 50,6% di pass@1 sul benchmark HumanEval.
Scelta e convalida di un metodo#
Il metodo dipende dai contenuti necessari nei dati e ogni metodo termina con lo stesso confronto con i dati reali:
La validazione addestra un modello sui dati generati, da soli o mescolati a dati reali, e lo valuta esclusivamente su dati di test reali tenuti da parte, come nei benchmark di Ultralytics sui dati sintetici NVIDIA Cosmos per il rilevamento dei difetti. Se l'accuratezza sulle immagini reali diminuisce all'aumentare della quota sintetica, il generatore presenta una lacuna di realismo o copertura; metriche a livello d'immagine come la distanza di Fréchet Inception (FID) aiutano a individuarla. I generatori addestrati su dati reali possono anche memorizzarli, quindi le pipeline sensibili alla privacy confrontano i record generati con gli originali; alcune applicano inoltre la privacy differenziale durante l'addestramento.
Ultralytics Platform integra la generazione nella gestione dei dataset tramite l'azione Genera immagini simili. L'azione prende un'immagine da un dataset, scrive descrizioni di nuove scene ispirate a essa e genera un'immagine per ogni descrizione usando per impostazione predefinita il modello Ultralytics Image 4B, da 1 a 16 immagini alla volta, seguendo eventuali istruzioni sulle variazioni desiderate, per esempio di illuminazione, punto di vista, sfondo o oggetti. Le immagini mantenute vengono aggiunte al dataset senza etichette, pronte per l'annotazione.
Generazione di dati sintetici a confronto con termini correlati#
- Aumento dei dati: Trasforma campioni reali esistenti durante l'addestramento con ribaltamenti, ritagli o variazioni di colore, mantenendo ogni risultato associato a un originale.
- IA generativa: Campo più ampio dei modelli che creano contenuti. I modelli generativi sono una fonte di dati sintetici, insieme ai simulatori e alle regole procedurali.
- Dati sintetici: Il dataset prodotto dalla generazione, valutato in base alla fedeltà ai dati reali, all'utilità per l'addestramento e alla privacy che tutela.










