YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Synthetic Data Generation

Bei der Erzeugung synthetischer Daten entstehen künstliche Trainingsdaten mithilfe von Simulatoren, prozeduralen Regeln, generativen Modellen und LLMs, oft mit exakten Kennzeichnungen.

Bei der Erzeugung synthetischer Daten werden künstliche Bilder, Videos, Sensormesswerte, Tabellen oder Texte mithilfe eines Simulators, prozeduraler Regeln oder eines generativen Modells erstellt, damit ein Modell des maschinellen Lernens damit trainiert oder getestet werden kann. Das Ergebnis sind synthetische Daten. Vier Entscheidungen bestimmen die Qualität dieser Daten: Mit welcher Methode die Beispiele erstellt werden, wie Beschriftungen hinzugefügt werden, wie stark die einzelnen Szenen variieren und wie das Ergebnis mit realen Daten verglichen wird. In der Computer Vision besteht der größte Vorteil darin, dass ein Generator, der jedes Objekt platziert, auch gleich die passende Datenannotierung schreiben kann – präzise und kostenlos.

Wichtige Erzeugungsmethoden#

Simulatoren erstellen eine 3D-Szene aus Assets, legen Beleuchtung, Materialien und Kamera fest und rendern Bilder zusammen mit exakten Masken, Tiefenkarten und Begrenzungsrahmen, da die Szenenbeschreibung die Position jedes Elements enthält. Open-Source-Fahrsimulatoren wie CARLA erzeugen Kamera-, LiDAR- und Radarstreams für autonome Fahrzeuge. Robotiksimulatoren übernehmen dasselbe für Greif- und Navigationsaufgaben. Bei der Domänenrandomisierung werden Texturen, Beleuchtung und Posen in den gerenderten Bildern variiert, damit sich die damit trainierten Modelle auf reale Kameras übertragen lassen.

Bei der prozeduralen Generierung kommen Skripte und Regeln statt einer vollständigen Szene zum Einsatz. Beim Compositing nach dem Ausschneide-und-Einfüge-Verfahren, das durch die Arbeit „Cut, Paste and Learn“ der Carnegie Mellon University aus dem Jahr 2017 bekannt wurde, werden zugeschnittene, segmentierte Objekte auf neue Hintergründe gesetzt. Jede eingefügte Box wird dabei als Beschriftung gespeichert. Die einfachste Variante zeichnet Formen an zufälligen Positionen, und der Generator schreibt beim Zeichnen die Beschriftung jedes Objekts:

import cv2
import numpy as np

rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
    # Random background color, then one to four contrasting discs in separate quadrants so none overlap
    background = rng.integers(0, 256, 3)
    image = np.full((320, 320, 3), background, dtype=np.uint8)
    labels = []
    for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
        r = int(rng.integers(10, 40))
        x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
        color = (background + rng.integers(64, 193, 3)) % 256
        cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
        # The generator placed the disc, so its normalized box label is exact and free
        labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
    cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
    with open(f"synthetic_{i:03d}.txt", "w") as f:
        f.write("\n".join(labels))
    boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")

Die Ausgabe lautet wrote 100 images with 256 exact box labels. Jede Zeile folgt dem YOLO-Label-Format und speichert Klasse, Mittelpunkt, Breite und Höhe der Box als Bruchteile der Bildgröße. Dafür war keine menschliche Annotation nötig.

Generative Modelle lernen das Erscheinungsbild realer Daten und erzeugen daraus neue Beispiele. Generative adversariale Netze (GANs) und Diffusionsmodelle erstellen fotorealistische Bilder aus Rauschen, einer Texteingabe oder einem Referenzbild. Konditionierungsverfahren wie ControlNet legen das Layout fest, sodass die Positionen der Objekte bekannt bleiben. Ohne diese Konditionierung müssen die generierten Bilder nachträglich beschriftet werden. Bei Tabellen passen statistische Synthesizer eine gemeinsame Verteilung an reale Datensätze an – etwa mit Gaußschen Copulas, Bayes'schen Netzen oder bedingten GANs wie CTGAN (NeurIPS 2019) – und erzeugen anschließend neue Zeilen.

Große Sprachmodelle generieren Textdaten: Anweisungen, Dialoge, Programmierübungen und Schlussfolgerungsketten. Microsoft trainierte phi-1, ein Code-Modell mit 1,3 Milliarden Parametern, mit 6 Milliarden Tokens aus gefilterten Webtexten sowie 1 Milliarde Tokens aus von GPT-3.5 verfassten Lehrbüchern und Übungen. Beim HumanEval-Benchmark erreichte es eine pass@1-Rate von 50,6 %.

Eine Methode auswählen und validieren#

Die Anforderungen an die Daten bestimmen die Methode. Jede Methode endet mit demselben Vergleich mit realen Daten:

Bei der Validierung wird ein Modell allein oder gemischt mit realen Daten auf den generierten Daten trainiert und ausschließlich anhand zurückgehaltener realer Testdaten bewertet, wie in den Benchmarks von NVIDIA Cosmos für synthetische Daten zur Fehlererkennung von Ultralytics. Sinkt die Genauigkeit auf realen Bildern, wenn der Anteil synthetischer Daten steigt, weist der Generator Lücken bei Realismus oder Abdeckung auf. Bildbasierte Werte wie die Fréchet-Inception-Distanz (FID) helfen, diese zu finden. An realen Daten trainierte Generatoren können die Daten außerdem auswendig lernen. Deshalb vergleichen datenschutzsensible Pipelines generierte Datensätze mit den Originalen, und manche ergänzen das Training um Differential Privacy.

Die Ultralytics Platform ergänzt die Datensatzverwaltung um die Bilderzeugung mit der Funktion Ähnliche Bilder generieren. Sie verwendet ein Bild aus einem Datensatz, verfasst Beschreibungen neuer, davon inspirierter Szenen und generiert standardmäßig mit dem Modell Ultralytics Image 4B ein Bild pro Beschreibung – zwischen 1 und 16 auf einmal. Optional lassen sich Vorgaben dazu machen, was verändert werden soll, etwa Beleuchtung, Blickwinkel, Hintergrund oder Objekte. Übernommene Bilder werden unbeschriftet in den Datensatz aufgenommen und können annotiert werden.

  • Datenerweiterung: Verändert vorhandene reale Beispiele während des Trainings durch Spiegelungen, Ausschnitte oder Farbverschiebungen. Jedes Ergebnis bleibt dabei einem Original zugeordnet.
  • Generative KI: Das übergeordnete Feld der Modelle, die Inhalte erstellen. Generative Modelle sind eine Quelle synthetischer Daten, neben Simulatoren und prozeduralen Regeln.
  • Synthetische Daten: Der durch die Generierung erstellte Datensatz. Bewertet wird er anhand seiner Übereinstimmung mit realen Daten, seines Nutzens für das Training und des Schutzes der Privatsphäre.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens