Synthetic Data

Synthetische Daten sind Informationen, die durch eine Simulation, ein Regelsystem oder ein Modell für generative KI erzeugt werden, statt aus realen Ereignissen gemessen zu werden. Sie sollen die statistischen Muster der realen Daten nachbilden, die sie ersetzen. Eine gerenderte Straßenszene, eine Tabelle mit erfundenen Patientenakten, deren Spalten ähnlich wie bei echten Daten korrelieren, und eine von einem Sprachmodell verfasste Rechenaufgabe sind allesamt synthetische Daten. Da der Generator jedes Beispiel erstellt, kennt er auch die Antwort für jedes davon. Ein gerendertes Bild wird daher ohne zusätzlichen Beschriftungsaufwand mit exakten Begrenzungsrahmen, Segmentierungsmasken und Tiefenwerten geliefert. Die Erzeugung synthetischer Daten umfasst alle Verfahren, die solche Daten erstellen – vom Rendering mit einer Game-Engine bis hin zu Diffusionsmodellen.

Arten synthetischer Daten#

Der Statistiker Donald Rubin schlug 1993 vollständig synthetische Daten vor, damit Statistikämter detaillierte Datensätze veröffentlichen konnten, ohne die Antworten realer Befragter offenzulegen. Bis heute unterscheidet das Fachgebiet drei Arten:

• Vollständig synthetische Daten: Jeder Datensatz oder jedes Bild stammt aus einem Generator, etwa ein aus 3D-Szenen gerenderter Datensatz oder eine aus einem an realen Daten angepassten Modell gezogene Tabelle.
• Teilweise synthetische Daten: Nur sensible Felder werden ersetzt, etwa durch synthetische Einkommen in einer Umfragedatei, während der Rest jedes Datensatzes echt bleibt.
• Hybride Datensätze: Echte und synthetische Beispiele werden in einem Trainingssatz kombiniert. Validierungs- und Testsätze bleiben echt, damit die Kennzahlen die Genauigkeit in der realen Welt widerspiegeln.

Synthetische Daten decken alle Modalitäten ab: Bilder und Videos aus Simulatoren, LiDAR- und Radarströme, Tabellendatensätze, Zeitreihen sowie von großen Sprachmodellen verfasste Texte.

Warum synthetische Daten verwendet werden#

Synthetische Daten schließen Lücken, die sich durch reale Datenerfassung nicht füllen lassen. Kollisionen, seltene Defekte und extreme Wetterbedingungen sind zu gefährlich oder zu selten, um sie in großer Zahl aufzuzeichnen. Simulatoren können sie daher bei Bedarf für die Wahrnehmung im Automobilbereich und in der Robotik rendern. Datensätze, die nie zu einer realen Person gehörten, verringern das Risiko, Patienten- oder Kundendaten offenzulegen. Das ist wichtig, wenn im Gesundheitswesen und Finanzbereich Regeln zum Datenschutz gelten. Generatoren können außerdem unterrepräsentierte Klassen, Hauttöne oder Blickwinkel häufiger erzeugen und so Verzerrungen in Datensätzen entgegenwirken. Forschende von Microsoft zeigten, dass sich bei manchen Aufgaben echte Bilder vollständig ersetzen lassen: In ihrer ICCV-Arbeit von 2021, Fake It Till You Make It, trainierten sie Modelle zur Lokalisierung von Gesichts-Schlüsselpunkten und zur Gesichtsanalyse ausschließlich mit gerenderten Gesichtern und erreichten eine ähnliche Genauigkeit wie beim Training mit echten Fotos.

Dichte Geometrie ist ein weiterer häufiger Grund für synthetische Daten. Die Tiefenschätzungsmodelle von Ultralytics YOLO26 werden mit einer Mischung aus etwa 2,19 Millionen Bildern vortrainiert, die drei synthetische Quellen umfasst: Apples per Raytracing erzeugte Innenraumszenen in Hypersim, AirSim-Umgebungen in TartanAir und in Virtual KITTI 2 bei wechselndem Wetter und Lichtverhältnissen neu gerenderte KITTI-Fahrszenen. Jede Quelle liefert für jedes Pixel einen Tiefenwert, während die realen KITTI-LiDAR-Scans derselben Mischung nur vereinzelte Punkte abdecken.

Qualität synthetischer Daten messen#

Synthetische Datensätze werden anhand von drei Eigenschaften beurteilt. Die Datentreue misst, wie genau sie reale Verteilungen abbilden – von Spaltenmittelwerten und Korrelationen in Tabellen bis zu Bildrealismus-Kennzahlen wie dem Fréchet-Inception-Abstand (FID). Der Nutzen misst, ob ein mit synthetischen Daten trainiertes Modell mit realen Daten funktioniert. Üblicherweise wird dafür mit synthetischen Daten trainiert und mit realen Daten getestet (TSTR). Der Datenschutz misst, ob reale Datensätze durchsickern, und nutzt dazu Abstände zum nächsten realen Datensatz, Angriffe durch Rückschlüsse auf die Zugehörigkeit oder formale Garantien für Differential Privacy des Generators.

Bei dieser TSTR-Prüfung wird eine Gauß-Verteilung an jede Klasse einer realen medizinischen Tabelle angepasst. Derselbe Klassifikator wird dann mit realen und synthetischen Zeilen trainiert:

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# Real breast tumor measurements, split into training rows and a held-out real test set
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# Fully synthetic training set: 500 rows per class sampled from a Gaussian fit to that class's real rows
rng = np.random.default_rng(0)
classes = [X_train[y_train == c] for c in (0, 1)]
X_syn = np.vstack([rng.multivariate_normal(rows.mean(0), np.cov(rows.T), 500) for rows in classes])
y_syn = np.repeat([0, 1], 500)

# Train the same classifier on real or on synthetic rows, then test both on the same real rows
for name, (X_fit, y_fit) in {"real": (X_train, y_train), "synthetic": (X_syn, y_syn)}.items():
    model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X_fit, y_fit)
    print(f"trained on {name} data: {model.score(X_test, y_test):.1%} accuracy on real test data")

Das mit realen Zeilen trainierte Modell erzielt 97,7 %, das mit 1.000 synthetischen Zeilen trainierte Modell 95,9 %. Der Abstand von 1,8 Prozentpunkten misst, welche Signale der einfache Gauß-Generator nicht erfassen konnte. Keine der synthetischen Zeilen ist eine Kopie der Patientenakte einer realen Person.

Risiken und Grenzen#

Ein Modell kann die Abkürzungen eines Renderers lernen, etwa perfekte Kanten oder wiederholte Texturen, und dann bei realen Bildern versagen. Diese Sim-to-Real-Lücke lässt sich durch Domänenrandomisierung, das Beimischen realer Daten oder durch Feinabstimmung mit einem kleinen realen Datensatz verringern. Ein Generator übernimmt außerdem die blinden Flecken der Daten, mit denen er trainiert wurde. Daher erzeugt er die seltenen Fälle, die Anlass für seinen Einsatz waren, nur selten, sofern sie nicht ausdrücklich vorgegeben werden. Werden generative Modelle wiederholt mit ihren eigenen Ausgaben trainiert, kommt es zum Modellkollaps. Eine Nature-Arbeit von 2024 von Shumailov und Kollegen zeigte, dass dadurch zuerst die seltenen Randbereiche der ursprünglichen Verteilung verschwinden.

Synthetische Daten im Vergleich zu verwandten Begriffen#

• Datenerweiterung: Verändert vorhandene reale Beispiele durch Spiegelungen, Zuschnitte und Farbverschiebungen. Jedes neue Beispiel wird also von einem bestimmten Original abgeleitet.
• Digitaler Zwilling: Ein virtuelles Modell eines bestimmten realen Objekts, das mit dessen Sensordaten synchronisiert wird. Das Rendern eines Zwillings ist eine Möglichkeit, synthetische Daten zu diesem Objekt zu erzeugen.
• Anonymisierte Daten: Reale Datensätze, bei denen Namen und Kennungen entfernt oder maskiert wurden, sodass jede Zeile weiterhin eine reale Person beschreibt.