Die besten Tools für synthetische Daten zum Training von Computer-Vision-Modellen

Welches Tool für synthetische Daten sich am besten für Computer Vision eignet, hängt davon ab, was deinem realen Datensatz fehlt. 3D-Simulationstools wie NVIDIA Isaac Sim mit Omniverse Replicator und BlenderProc erzeugen neue Szenen samt Beschriftungen. Generative Tools wie NVIDIA Cosmos und die Funktion „Ähnliche Bilder generieren“ in Ultralytics Platform bringen Abwechslung in vorhandene Bilder. Augmentierungsbibliotheken wie Albumentations verändern deine realen Bilder während des Trainings.

Unabhängig von deiner Wahl solltest du das Tool anhand realer Bilder bewerten, die das Modell noch nie gesehen hat. In einem Test von Ultralytics und NVIDIA mit Datensätzen zu industriellen Defekten steigerte das Hinzufügen generierter Defekte den mAP₇₅ von Ultralytics YOLO26x bei den DAGM-Klassen um 0,11 bis 0,32, bei Real-IAD jedoch nur um 0,008 (Testdetails). Der Nutzen synthetischer Daten hängt vom Datensatz und von der Art der Generierung ab.

Dieser Leitfaden vergleicht die wichtigsten Tools nach Methode, erklärt, welche Lücke die einzelnen Tools schließen, und zeigt, wie du synthetische Daten mit Ultralytics YOLO26 testest, bevor du dich dafür entscheidest. Wenn du neu in diesem Thema bist, beginne mit einer Erklärung, was synthetische Daten sind und wie sie verwendet werden.

Drei Wege, synthetische Trainingsdaten zu erstellen#

Dieser Leitfaden unterteilt Tools zur Generierung synthetischer Daten in drei praktische Methoden. Sie lösen unterschiedliche Probleme. Vergleiche daher zunächst die Tools innerhalb derselben Methode.

Jede Methode geht anders mit Beschriftungen um. Alle drei sollten anhand realer Bilder bewertet werden, die das Modell noch nie gesehen hat.

Synthetische Daten und Datenaugmentierung überschneiden sich: Beide liefern Trainingsbeispiele, die du nicht selbst erfasst hast. Der praktische Unterschied besteht darin, woher die neuen Bilder stammen. Augmentierung verändert vorhandene Bilder, während Simulationen und generative Modelle dem Modell auch Dinge zeigen können, die in deinem Datensatz überhaupt nicht vorkommen.

Tools für synthetische Daten im Vergleich#

Die Tools sind alphabetisch aufgeführt. Jede Zeile wurde im November 2026 anhand der Website oder des Repositorys des jeweiligen Tools überprüft.

Ultralytics Platform ist kein 3D-Simulationstool. „Ähnliche Bilder generieren“ beschreibt neue Szenen, die von deinem Bild inspiriert sind, und erstellt für jede Szene ein Bild – mit Ultralytics Image 4B (Standard) oder Ultralytics Image 6B. Die neuen Bilder haben dieselben Motive und denselben Stil wie das Ausgangsbild, enthalten aber keine Beschriftungen. Deshalb musst du sie vor dem Training annotieren. Wenn du pixelgenaue Beschriftungen für Objekte brauchst, die sich in 3D modellieren lassen, ist ein Simulationstool die bessere Wahl.

Veranschaulichende Montage von „Ähnliche Bilder generieren“ in Ultralytics Platform mit vier echten Ausgaben des kostenlosen Modells Ultralytics Image 4B. Quellfoto: 001 Car factory assembly line - Opel factory in Gliwice, Poland, Marek Ślusarczyk (Tupungato), CC BY 3.0. Gezeigt werden KI-generierte Bearbeitungen.

So wählst du ein Tool für synthetische Daten aus#

Orientiere dich zunächst an der Lücke in deinen Daten, nicht am Tool. Hier sind die häufigsten Lücken und die passenden Tools.

Seltene Defekte und Anomalien#

Echte Beispiele seltener Defekttypen lassen sich nur schwer sammeln. Zwei Ansätze, die sich zu testen lohnen:

• Defekte auf realen Bildern generieren. Im Test von Ultralytics und NVIDIA erzeugte NVIDIA Cosmos Data Factory Defektbilder, die automatisch beschriftet und zu realen Trainingsbildern hinzugefügt wurden. Dem veröffentlichten Bericht zufolge stieg der Rückrufwert in jedem Datensatz des Tests mit synthetischen Daten. Der Generierungsschritt mit Cosmos ist derzeit ein Beispiel und eine Demo, keine veröffentlichte Integration.
• Augmentierung durch Kopieren und Einfügen. Aktiviere für Segmentierungs- oder OBB-Training mit Polygonbeschriftungen copy_paste, um Objekte innerhalb eines Bildes oder zwischen Bildern zu kopieren. Dadurch kommt eine seltene Klasse häufiger vor. Standardmäßig ist die Funktion deaktiviert.

Unter Computer Vision in der Fertigung erfährst du, welche Rolle die Defekterkennung in einer Produktionslinie spielt.

Roboter, Lagerhallen sowie Kommissionierung und Ablage#

Wenn du die Objekte und den Raum in 3D modellieren kannst, erzeugt die Simulation zu jedem Bild Labels und lässt dich bei den Renderings Posen, Beleuchtung und Unordnung variieren. Das wird als Domain-Randomisierung bezeichnet. Für Robotiksimulationen auf NVIDIA-Hardware kommen NVIDIA Isaac Sim mit Omniverse Replicator infrage, für skriptgesteuerte Renderings aus vorhandenen 3D-Modellen BlenderProc. Erfahre mehr über Computer Vision in der Robotik.

Fahren, Drohnen und Multisensorsysteme#

Für Kameras, Lidar und Radarsimulationen oder Tests im geschlossenen Regelkreis kommen Plattformen infrage, die für autonome Systeme mit mehreren Sensoren entwickelt wurden. Parallel Domain erstellt Rekonstruktionen aus realen Fahr- und Flugprotokollen. Anyverse simuliert sensorspezifische Ausgaben für den Straßenverkehr, den Fahrzeuginnenraum und den Verteidigungsbereich. Duality AI Falcon konzentriert sich auf autonome Systeme in der Luft und im Gelände.

Satelliten-, SAR- und andere Sensoren außerhalb des sichtbaren Spektrums#

Rendered.ai führt Simulationen für SAR, Infrarot, Wärmebild, Multispektral-, Hyperspektral- und Röntgenbilder auf. Anyverse führt Ausgaben für Nahinfrarot und Wärmebild auf.

Ein kleiner Datensatz, der mehr Vielfalt braucht#

Beginne mit einer Augmentierung, die den Bedingungen entspricht, denen das Modell tatsächlich begegnen wird, denn dabei bleiben deine Labels erhalten. Für das Detektionstraining aktiviert Ultralytics YOLO standardmäßig Mosaik, Farbänderungen, Skalierung, Verschiebung und horizontale Spiegelungen. Außerdem kannst du eigene Albumentations-Transformationen hinzufügen. Wenn die Augmentierung Bedingungen nicht abdeckt, die du nicht fotografieren kannst, etwa andere Beleuchtungen, Hintergründe oder Blickwinkel, teste je nach Szene und vorgesehener Beschriftungsmethode generative Variationen oder Simulationen.

So testest du, ob synthetische Daten helfen#

Synthetische Daten lohnen sich nur, wenn das Modell bei realen Bildern besser abschneidet. Führe dasselbe Experiment zweimal aus und ändere nur die Trainingsbilder:

1. Halte reale Testbilder zurück. Bewahre einen Testsatz mit realen Bildern aus der Umgebung auf, in der das Modell eingesetzt wird, und füge ihm niemals synthetische Bilder hinzu.
2. Trainiere eine Baseline ausschließlich mit realen Bildern.
3. Trainiere erneut mit realen und synthetischen Bildern und verwende dabei dasselbe Modell, dieselbe Anzahl an Epochen, denselben Optimierer und denselben Seed.
4. Wähle die Trainingskonfiguration anhand realer Validierungsbilder. Wenn du verschiedene Mengen synthetischer Daten ausprobierst, vergleiche sie anhand realer Validierungsbilder. Bewerte anschließend nur die Baseline und die ausgewählte Konfiguration mit dem unveränderten Testsatz aus realen Bildern. Betrachte mAP_50-95 und den Recall sowie mAP₇₅, wenn die Präzision der Begrenzungsrahmen wichtig ist.

Beim Training mit Ultralytics YOLO kann der Trainingssplit mehrere Ordner aufführen, sodass reale und synthetische Bilder auf der Festplatte getrennt bleiben. Erstelle real.yaml auf dieselbe Weise und setze train ausschließlich auf images/train_real. Lege nahezu identische Bilder und Bilder derselben Szene in denselben Split und erzeuge synthetische Bilder nur aus Trainingsbildern:

# real_plus_synthetic.yaml
path: datasets/defects
train: [images/train_real, images/train_synthetic] # real + synthetic training images
val: images/val_real # real images only
test: images/test_real # real images only, never seen in training
names:
  0: scratch
  1: dent

from ultralytics import YOLO

runs = {}
for name, data in [("real only", "real.yaml"), ("real + synthetic", "real_plus_synthetic.yaml")]:
    model = YOLO("yolo26n.pt")
    model.train(  # same recipe for both runs
        data=data, epochs=100, imgsz=640, batch=16,
        optimizer="AdamW", lr0=0.001, seed=0,
    )
    runs[name] = model.trainer.best  # path to the best weights

for name, weights in runs.items():
    metrics = YOLO(weights).val(data="real_plus_synthetic.yaml", split="test")  # same real test set
    print(f"{name}: mAP50-95 {metrics.box.map:.3f}, mAP75 {metrics.box.map75:.3f}")

Damit wird dieselbe Trainingskonfiguration mit und ohne synthetische Bilder verglichen und anhand derselben realen Testbilder bewertet. Bei gleicher Anzahl an Epochen erhält der größere Datensatz mehr Trainingsschritte. Wiederhole den Versuch daher mit mehreren Seeds, bevor du einem kleinen Unterschied vertraust. Alle Einstellungen findest du in der Dokumentation zu Train und Val; Hinweise zur Auswertung der Ergebnisse findest du unter Einblicke in die Modellbewertung.

mAP₇₅ mit ausschließlich realen Bildern und mit generierten Defekten auf den Datensätzen, bei denen die Synthese getestet wurde und geholfen hat, aus dem Test von Ultralytics und NVIDIA.

Was Ultralytics gemessen hat#

• Generierte Defekte (Test von Ultralytics und NVIDIA). Auf Datensätzen zur industriellen Inspektion mit Polygon-Labels wurde Ultralytics YOLO26x, trainiert mit realen Bildern und von NVIDIA Cosmos Data Factory generierten Defekten, mit demselben Modell verglichen, das ausschließlich mit realen Bildern trainiert wurde. mAP₇₅ stieg bei den DAGM-Klassen um 0,11 bis 0,32; bei DAGM-Klasse 9 stieg der Wert beispielsweise von 0,650 auf 0,966. Bei Real-IAD betrug der Zugewinn 0,008. Beide Modelle verwendeten dieselbe Trainingskonfiguration und denselben zurückgehaltenen Testsatz (vollständige Ergebnisse).
• Synthetische Tiefendaten. Die YOLO26-Tiefenmodelle werden mit einer Mischung aus etwa 2,19 Millionen Bildern vortrainiert. Dazu gehören synthetische Datensätze wie Hypersim, das dichte Tiefenreferenzdaten aus gerenderten Szenen bereitstellt, wobei ungültige Pixel, etwa von Fenstern und Himmel, maskiert werden. Die synthetischen Daten ergänzen die verrauschteren Sensordaten aus der realen Welt, statt sie zu ersetzen.
• Generierte Bilder in einem offenen Datensatz. Ultralytics Construction-PPE vereint von Menschen gesammelte und generierte Bilder: 1.000 Bilder und 12 Klassen, veröffentlicht unter CC BY 4.0. Der Datensatz hat keinen separaten Testsatz. In der Dokumentation wird empfohlen, die Auswertung mit unabhängigen Bildern aus der eigenen Einsatzumgebung durchzuführen.

Wie viele synthetische Daten solltest du hinzufügen?#

Ein allgemeingültiges Verhältnis gibt es nicht. Betrachte es daher als Einstellung, die getestet werden muss. Im Test von Ultralytics und NVIDIA wurde die Zahl der synthetischen Bilder auf entweder 25 % oder 100 % der realen Trainingsbilder begrenzt. Das entspricht einem synthetischen Bild pro vier realen Bildern beziehungsweise einem synthetischen Bild pro realem Bild. Von 11.448 generierten Bildern wurden nur 1.481 behalten. Beginne mit einem kleinen Anteil, wähle das Verhältnis anhand realer Validierungsbilder aus und verwende den unveränderten Testsatz aus realen Bildern für den abschließenden Vergleich.

Wo Ultralytics ins Spiel kommt#

Ultralytics verkauft keine 3D-Simulationsengine. Ultralytics deckt die Arbeitsschritte rund um synthetische Daten ab:

• Trainieren und vergleichen. Ultralytics YOLO trainiert mit jeder beliebigen Mischung aus realen und synthetischen Bildern im YOLO-Format, entweder auf deiner eigenen Hardware oder auf Cloud-GPUs mit der Ultralytics Platform.
• Reale Bilder variieren. Mit „Generate Similar Images“ in der Ultralytics Platform kannst du pro Stapel bis zu 16 Variationen eines Bildes erzeugen und optional Anweisungen wie „ändere die Beleuchtung“ oder „füge Regen hinzu“ geben.
• Generierte Bilder beschriften. Die intelligente Annotation in der Ultralytics Platform verwendet SAM 3.1, YOLO und YOLOE, um neue Bilder zu beschriften, auch stapelweise für einen ganzen Datensatz.
• Standardmäßig augmentieren. Das Training mit Ultralytics YOLO umfasst integrierte Augmentierung und unterstützt eigene Albumentations-Transformationen.