Synthetic Data Generation
Bei der Erzeugung synthetischer Daten entstehen künstliche Trainingsdaten mithilfe von Simulatoren, prozeduralen Regeln, generativen Modellen und LLMs, oft mit exakten Kennzeichnungen.
Bei der Erzeugung synthetischer Daten werden künstliche Bilder, Videos, Sensormesswerte, Tabellen oder Texte mithilfe eines Simulators, prozeduraler Regeln oder eines generativen Modells erstellt, damit ein Modell des maschinellen Lernens damit trainiert oder getestet werden kann. Das Ergebnis sind synthetische Daten. Vier Entscheidungen bestimmen die Qualität dieser Daten: Mit welcher Methode die Beispiele erstellt werden, wie Beschriftungen hinzugefügt werden, wie stark die einzelnen Szenen variieren und wie das Ergebnis mit realen Daten verglichen wird. In der Computer Vision besteht der größte Vorteil darin, dass ein Generator, der jedes Objekt platziert, auch gleich die passende Datenannotierung schreiben kann – präzise und kostenlos.
Wichtige Erzeugungsmethoden#
Simulatoren erstellen eine 3D-Szene aus Assets, legen Beleuchtung, Materialien und Kamera fest und rendern Bilder zusammen mit exakten Masken, Tiefenkarten und Begrenzungsrahmen, da die Szenenbeschreibung die Position jedes Elements enthält. Open-Source-Fahrsimulatoren wie CARLA erzeugen Kamera-, LiDAR- und Radarstreams für autonome Fahrzeuge. Robotiksimulatoren übernehmen dasselbe für Greif- und Navigationsaufgaben. Bei der Domänenrandomisierung werden Texturen, Beleuchtung und Posen in den gerenderten Bildern variiert, damit sich die damit trainierten Modelle auf reale Kameras übertragen lassen.
Bei der prozeduralen Generierung kommen Skripte und Regeln statt einer vollständigen Szene zum Einsatz. Beim Compositing nach dem Ausschneide-und-Einfüge-Verfahren, das durch die Arbeit „Cut, Paste and Learn“ der Carnegie Mellon University aus dem Jahr 2017 bekannt wurde, werden zugeschnittene, segmentierte Objekte auf neue Hintergründe gesetzt. Jede eingefügte Box wird dabei als Beschriftung gespeichert. Die einfachste Variante zeichnet Formen an zufälligen Positionen, und der Generator schreibt beim Zeichnen die Beschriftung jedes Objekts:
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")Die Ausgabe lautet wrote 100 images with 256 exact box labels. Jede Zeile folgt dem YOLO-Label-Format und speichert Klasse, Mittelpunkt, Breite und Höhe der Box als Bruchteile der Bildgröße. Dafür war keine menschliche Annotation nötig.
Generative Modelle lernen das Erscheinungsbild realer Daten und erzeugen daraus neue Beispiele. Generative adversariale Netze (GANs) und Diffusionsmodelle erstellen fotorealistische Bilder aus Rauschen, einer Texteingabe oder einem Referenzbild. Konditionierungsverfahren wie ControlNet legen das Layout fest, sodass die Positionen der Objekte bekannt bleiben. Ohne diese Konditionierung müssen die generierten Bilder nachträglich beschriftet werden. Bei Tabellen passen statistische Synthesizer eine gemeinsame Verteilung an reale Datensätze an – etwa mit Gaußschen Copulas, Bayes'schen Netzen oder bedingten GANs wie CTGAN (NeurIPS 2019) – und erzeugen anschließend neue Zeilen.
Große Sprachmodelle generieren Textdaten: Anweisungen, Dialoge, Programmierübungen und Schlussfolgerungsketten. Microsoft trainierte phi-1, ein Code-Modell mit 1,3 Milliarden Parametern, mit 6 Milliarden Tokens aus gefilterten Webtexten sowie 1 Milliarde Tokens aus von GPT-3.5 verfassten Lehrbüchern und Übungen. Beim HumanEval-Benchmark erreichte es eine pass@1-Rate von 50,6 %.
Eine Methode auswählen und validieren#
Die Anforderungen an die Daten bestimmen die Methode. Jede Methode endet mit demselben Vergleich mit realen Daten:
Bei der Validierung wird ein Modell allein oder gemischt mit realen Daten auf den generierten Daten trainiert und ausschließlich anhand zurückgehaltener realer Testdaten bewertet, wie in den Benchmarks von NVIDIA Cosmos für synthetische Daten zur Fehlererkennung von Ultralytics. Sinkt die Genauigkeit auf realen Bildern, wenn der Anteil synthetischer Daten steigt, weist der Generator Lücken bei Realismus oder Abdeckung auf. Bildbasierte Werte wie die Fréchet-Inception-Distanz (FID) helfen, diese zu finden. An realen Daten trainierte Generatoren können die Daten außerdem auswendig lernen. Deshalb vergleichen datenschutzsensible Pipelines generierte Datensätze mit den Originalen, und manche ergänzen das Training um Differential Privacy.
Die Ultralytics Platform ergänzt die Datensatzverwaltung um die Bilderzeugung mit der Funktion Ähnliche Bilder generieren. Sie verwendet ein Bild aus einem Datensatz, verfasst Beschreibungen neuer, davon inspirierter Szenen und generiert standardmäßig mit dem Modell Ultralytics Image 4B ein Bild pro Beschreibung – zwischen 1 und 16 auf einmal. Optional lassen sich Vorgaben dazu machen, was verändert werden soll, etwa Beleuchtung, Blickwinkel, Hintergrund oder Objekte. Übernommene Bilder werden unbeschriftet in den Datensatz aufgenommen und können annotiert werden.
Erzeugung synthetischer Daten im Vergleich zu verwandten Begriffen#
- Datenerweiterung: Verändert vorhandene reale Beispiele während des Trainings durch Spiegelungen, Ausschnitte oder Farbverschiebungen. Jedes Ergebnis bleibt dabei einem Original zugeordnet.
- Generative KI: Das übergeordnete Feld der Modelle, die Inhalte erstellen. Generative Modelle sind eine Quelle synthetischer Daten, neben Simulatoren und prozeduralen Regeln.
- Synthetische Daten: Der durch die Generierung erstellte Datensatz. Bewertet wird er anhand seiner Übereinstimmung mit realen Daten, seines Nutzens für das Training und des Schutzes der Privatsphäre.










