Synthetic Data

I dati sintetici sono informazioni prodotte da una simulazione, da un insieme di regole o da un modello di IA generativa, anziché essere rilevate da eventi reali; sono progettati per riprodurre gli schemi statistici dei dati reali che rappresentano. Una scena stradale renderizzata, una tabella di cartelle cliniche inventate con colonne correlate come quelle reali e un esercizio di matematica scritto da un modello linguistico sono tutti esempi di dati sintetici. Poiché il generatore crea ogni esempio, ne conosce anche la risposta: un'immagine renderizzata arriva quindi con riquadri di delimitazione, maschere di segmentazione e valori di profondità esatti, senza costi di annotazione. La generazione di dati sintetici è il processo che li produce, dal rendering con motori di gioco ai modelli di diffusione.

Tipi di dati sintetici#

Nel 1993 lo statistico Donald Rubin propose i dati completamente sintetici affinché gli enti censuari potessero pubblicare registrazioni dettagliate senza divulgare le risposte di alcun partecipante reale; il settore distingue ancora tre tipi:

• Dati completamente sintetici: ogni registrazione o immagine proviene da un generatore, come in un dataset renderizzato da scene 3D o in una tabella campionata da un modello adattato a registrazioni reali.
• Dati parzialmente sintetici: vengono sostituiti solo i campi sensibili, ad esempio con redditi sintetizzati in un file di indagine, mentre il resto di ogni registrazione rimane reale.
• Dataset ibridi: esempi reali e sintetici condividono lo stesso set di training, mentre i set di convalida e di test rimangono reali, così che le metriche riflettano la precisione nel mondo reale.

I dati sintetici coprono ogni modalità: immagini e video prodotti da simulatori, flussi LiDAR e radar, record tabellari, serie temporali e testi scritti da modelli linguistici di grandi dimensioni.

Perché si usano i dati sintetici#

I dati sintetici colmano lacune che la raccolta di dati reali non può risolvere. Le collisioni, i difetti rari e le condizioni meteorologiche estreme sono troppo pericolosi o rari per essere registrati in quantità, quindi i simulatori li riproducono su richiesta per la percezione automobilistica e la robotica. I record che non sono mai appartenuti a una persona reale riducono il rischio di esporre pazienti o clienti, aspetto importante per le norme sulla privacy dei dati in sanità e finanza. I generatori possono anche sovracampionare classi, tonalità della pelle o punti di vista sottorappresentati per contrastare la distorsione dei dataset. I ricercatori Microsoft hanno dimostrato che, per alcune attività, questo approccio può sostituire completamente le immagini reali: nel loro articolo Fake It Till You Make It, presentato a ICCV 2021, hanno addestrato modelli di localizzazione dei punti chiave facciali e di analisi dei volti solo su volti renderizzati, ottenendo una precisione pari a quella del training su foto reali.

La geometria densa è un altro motivo frequente per ricorrere ai dati sintetici. I modelli Ultralytics YOLO26 per la stima della profondità sono preaddestrati su una combinazione di circa 2,19 milioni di immagini che include tre fonti sintetiche: le scene interne di Apple con ray tracing in Hypersim, gli ambienti AirSim in TartanAir e le scene di guida KITTI renderizzate nuovamente con condizioni meteorologiche e di illuminazione variate in Virtual KITTI 2. Ognuna fornisce un valore di profondità per ogni pixel, mentre le scansioni LiDAR KITTI reali della stessa combinazione coprono solo punti sparsi.

Misurare la qualità dei dati sintetici#

I dataset sintetici vengono valutati in base a tre proprietà. La fedeltà misura quanto corrispondono alle distribuzioni reali, dalle medie delle colonne e dalle correlazioni nelle tabelle ai punteggi di realismo delle immagini come la distanza di Inception di Fréchet (FID). L'utilità misura se un modello addestrato su dati sintetici funziona su dati reali, di solito addestrandolo su dati sintetici e testandolo su dati reali (TSTR). La privacy misura se vengono divulgati record reali, usando le distanze dal record reale più vicino, gli attacchi di inferenza dell'appartenenza o garanzie formali di privacy differenziale sul generatore.

Questo test TSTR adatta una distribuzione gaussiana a ogni classe di una tabella medica reale e addestra lo stesso classificatore su righe reali e sintetiche:

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# Real breast tumor measurements, split into training rows and a held-out real test set
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# Fully synthetic training set: 500 rows per class sampled from a Gaussian fit to that class's real rows
rng = np.random.default_rng(0)
classes = [X_train[y_train == c] for c in (0, 1)]
X_syn = np.vstack([rng.multivariate_normal(rows.mean(0), np.cov(rows.T), 500) for rows in classes])
y_syn = np.repeat([0, 1], 500)

# Train the same classifier on real or on synthetic rows, then test both on the same real rows
for name, (X_fit, y_fit) in {"real": (X_train, y_train), "synthetic": (X_syn, y_syn)}.items():
    model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X_fit, y_fit)
    print(f"trained on {name} data: {model.score(X_test, y_test):.1%} accuracy on real test data")

Il modello addestrato su righe reali ottiene un punteggio del 97,7%, mentre quello addestrato su 1.000 righe sintetiche ottiene il 95,9%. La differenza di 1,8 punti misura il segnale che il semplice generatore gaussiano non è riuscito a catturare, e nessuna riga sintetica è una copia della cartella di un paziente reale.

Rischi e limiti#

Un modello può imparare le scorciatoie di un renderer, come bordi perfetti o trame ripetute, e poi fallire sulle immagini reali. Il divario tra simulazione e realtà si riduce con la randomizzazione del dominio, mescolando dati reali o eseguendo il fine-tuning su un piccolo set reale. Un generatore eredita anche i punti ciechi dei dati su cui è stato addestrato, quindi raramente produce i casi della coda lunga che ne hanno motivato l'uso, a meno che non vengano specificati esplicitamente. Addestrare ripetutamente i modelli generativi sui propri output provoca il collasso del modello, che, come hanno dimostrato Shumailov e colleghi in un articolo di Nature del 2024, cancella per prime le code rare della distribuzione originale.

Dati sintetici e termini correlati#

• Aumento dei dati: trasforma esempi reali esistenti con ribaltamenti, ritagli e variazioni cromatiche, quindi ogni nuovo campione deriva da un originale specifico.
• Gemello digitale: modello virtuale di una specifica risorsa reale, mantenuto sincronizzato con i dati dei suoi sensori. Il rendering di un gemello è un modo per produrre dati sintetici di quella risorsa.
• Dati anonimizzati: record reali da cui sono stati rimossi o mascherati nomi e identificativi, perciò ogni riga descrive ancora una persona reale.