Was sind synthetische Daten in der Computer Vision? Ein Überblick

Daten waren schon immer ein treibender Faktor in Bereichen wie Analytics und künstliche Intelligenz (KI). Tatsächlich bestimmt die Art und Weise, wie wir Daten sammeln, generieren und nutzen, die Zukunft intelligenter Systeme. Selbstfahrende Autos sind beispielsweise auf Millionen von beschrifteten Bildern und Sensordaten angewiesen – von Straßenschildern bis hin zu Fußgängerbewegungen –, um zu lernen, wie man sicher durch den Verkehr navigiert.

Eine der wichtigsten Datenarten, die diesen Fortschritt vorantreibt, insbesondere in Bereichen wie autonomes Fahren und Sicherheit, sind visuelle Daten wie Bilder und Videos.

Insbesondere der Bereich der KI, der Maschinen in die Lage versetzt, diese visuellen Informationen zu interpretieren, wird als Computer Vision bezeichnet. Sie hilft Systemen, visuelle Eingaben ähnlich wie Menschen zu verstehen und zu analysieren, und unterstützt Aufgaben wie Gesichtserkennung, die Erkennung von Verkehrsschildern und medizinische Bildanalyse.

Das Sammeln großer, hochwertiger visueller Datensätze aus der realen Welt kann jedoch zeitaufwändig und kostspielig sein und wirft häufig Datenschutzbedenken auf. Deshalb erforschen Forscher aktiv das Konzept der Nutzung synthetischer Daten.

Synthetische Daten beziehen sich auf künstlich erzeugte visuelle Inhalte, die reale Bilder und Videos täuschend echt nachahmen. Sie werden mithilfe von Techniken wie 3D-Modellierung, Computersimulationen und generativen KI-Methoden wie Generative Adversarial Networks (GANs) erstellt, die aus echten Daten Muster lernen, um realistische neue Beispiele zu produzieren.

Es wird erwartet, dass synthetische Daten bald eine entscheidende Rolle bei der KI-Entwicklung spielen werden – Gartner prognostiziert, dass sie bis 2030 wichtiger sein werden als reale Daten. In diesem Artikel untersuchen wir, was synthetische Daten im Kontext von Computer Vision sind, wie sie generiert werden und wo sie in realen Szenarien eingesetzt werden. Fangen wir an!

Link to this sectionWas sind synthetische Daten im Bereich Computer Vision?#

Angenommen, du möchtest ein Vision KI-Modell trainieren, um Objekte in verschiedenen Umgebungen und Bedingungen zu erkennen. Sich nur auf reale Daten zu verlassen, kann schwierig sein und sich manchmal einschränkend anfühlen.

Synthetische Daten können hingegen dazu verwendet werden, den passenden Datensatz zu erstellen, der Objekte unter verschiedenen künstlich erzeugten Bedingungen enthält. Mit Tools wie 3D-Modellierung und Simulationen können Entwickler Bilder mit präziser Kontrolle über Faktoren wie Beleuchtung, Winkel und Objektplatzierung generieren. Dies wiederum bietet für das Modelltraining mehr Flexibilität als reale Daten.

Synthetische Daten sind besonders hilfreich, wenn die Erfassung realer Daten schwierig oder unmöglich ist. Zum Beispiel würde das Training eines Modells zur Erkennung von Menschen in einer Vielzahl von Posen – wie Laufen, Hocken oder Liegen – das Aufnehmen von Tausenden von Fotos in vielen verschiedenen Umgebungen, Winkeln und Lichtverhältnissen erfordern.

Andererseits können Entwickler mit synthetischen Daten diese Variationen einfach mit genauen Beschriftungen generieren, was Zeit und Aufwand spart und gleichzeitig die Modellleistung verbessert.

Abb. 1. Ein synthetischer Datensatz mit verschiedenen menschlichen Posen und Beleuchtungsvariationen (Quelle).

Link to this sectionSynthetische vs. reale Daten in der KI#

Schauen wir uns als Nächstes die Unterschiede zwischen synthetischen und realen Daten genauer an. Beide haben ihre Vor- und Nachteile beim Training von KI-Modellen.

Synthetische Daten sind beispielsweise nützlich, wenn reale Daten schwer zu erfassen sind, erfassen aber möglicherweise nicht jedes kleine Detail, das im echten Leben vorkommt. Gleichzeitig sind reale Daten authentischer, aber es kann schwierig sein, sie zu beschaffen, sie zeitaufwändig zu beschriften, und sie decken möglicherweise nicht jede Situation ab.

Durch die Kombination von synthetischen und realen Daten können Entwickler das Beste aus beiden Welten erhalten. Dieses Gleichgewicht hilft KI-Modellen, genauer zu lernen, besser über verschiedene Szenarien hinweg zu generalisieren und Verzerrungen zu reduzieren.

Abb. 2. Synthetische vs. reale Daten in der KI. Bild vom Autor.

Link to this sectionEin Blick auf die Datengenerierung für Computer Vision-Modelle#

Vom Aufbau virtueller Welten mit 3D-Tools bis hin zur Generierung von Bildern mittels generativer KI – hier sind einige gängige Methoden zur Erstellung synthetischer Trainingsdaten für Computer Vision-Modelle:

• 3D-Modellierung: Entwickler verwenden 3D-Software, um digitale Objekte und Szenen zu erstellen. Dies ermöglicht die volle Kontrolle über Aspekte wie Beleuchtung, Kamerawinkel und Objektplatzierung und ist hilfreich für die Generierung realistischer Bilder von Menschen, Fahrzeugen und Umgebungen.
• Simulationen: Diese bilden reale Situationen nach, wie z. B. Verkehrs- oder Fabrikumgebungen, unter Verwendung physikbasierter Engines. Simulationen sind nützlich, um sicher Trainingsdaten in Bereichen wie Robotik und selbstfahrenden Autos zu generieren.
• Generative Adversarial Networks (GANs): GANs sind eine Art von Deep-Learning-Modell, das aus zwei Netzwerken besteht: eines, das Bilder erstellt, und eines, das sie bewertet. Gemeinsam generieren sie hochrealistische Bilder, wie etwa menschliche Gesichter oder Straßenansichten, indem sie von echten Beispielen lernen.
• Prozedurale Generierung: Diese Technik verwendet vordefinierte Regeln oder mathematische Modelle, um automatisch komplexe visuelle Strukturen wie Gelände, Gebäude oder Texturen zu erzeugen. Sie wird oft in Gaming- und Simulationsplattformen eingesetzt und kann mit minimalem menschlichen Aufwand umfangreiche, vielfältige Datensätze produzieren.
• Domain Randomization: Dabei können Dinge wie Beleuchtung, Farben und Objektformen in synthetischen Szenen zufällig verändert werden. Das Ziel dieser Technik ist es, Modellen dabei zu helfen, sich auf das Wesentliche zu konzentrieren, wodurch sie anpassungsfähiger an reale Umgebungen werden.

Abb. 3. Datenbeispiele: (a) 3D-modellbasiert, (b) synthetische Szenen mit mehreren Objekten und (c) reale Datensatzbilder (Quelle).

Link to this sectionVision KI-Modelltraining mit synthetischen Daten#

Nachdem wir einige der verschiedenen Methoden zur Erstellung synthetischer Daten besprochen haben, schauen wir uns nun an, wie sie für das Training von KI-Modellen verwendet werden.

Nach der Generierung können synthetische Daten in der Regel auf die gleiche Weise wie reale Daten direkt in die Trainingspipeline integriert werden. Sie enthalten typischerweise die notwendigen Annotationen, wie Objektlabels, Begrenzungsrahmen (BBoxes) oder Segmentierungsmasken, was bedeutet, dass sie für überwachtes Lernen verwendet werden können, bei dem Modelle von beschrifteten Eingabe-Ausgabe-Paaren lernen, ohne dass eine manuelle Beschriftung erforderlich ist.

Während des Trainings verarbeitet das Modell synthetische Bilder, um zu lernen, Merkmale zu erkennen, Muster zu identifizieren und Objekte zu klassifizieren. Diese Daten können verwendet werden, um eine erste Version des Modells von Grund auf aufzubauen oder einen bestehenden Datensatz zu erweitern, was hilft, die Modellleistung zu verbessern.

In vielen Arbeitsabläufen werden synthetische Daten auch für das Vortraining verwendet, um Modellen ein breites grundlegendes Verständnis zu geben, bevor sie mit realen Beispielen feinabgestimmt werden. Ebenso werden sie zur Datenergänzung verwendet, indem kontrollierte Variationen eingeführt werden, wie unterschiedliche Lichtverhältnisse, Winkel oder seltene Objektklassen, um die Generalisierung zu verbessern und Overfitting zu reduzieren.

Durch die Kombination von synthetischen und realen Daten können Teams robustere Modelle trainieren, die unter einer Vielzahl von Bedingungen gut funktionieren, und gleichzeitig die Abhängigkeit von zeitaufwändigen und teuren manuellen Datenerfassungsbemühungen verringern.

Link to this sectionReale Anwendungen von synthetischen Daten im Bereich Computer Vision#

Da synthetische Daten praktischer und zugänglicher werden, sehen wir ihre Einführung in einer Vielzahl von realen Vision KI-Anwendungsfällen. Lass uns einige der wirkungsvollsten Anwendungen in der Computer Vision erkunden, in denen sie eingesetzt werden.

Link to this sectionNutzung synthetischer Daten für die Objekterkennung in autonomen Fahrzeugen#

Damit selbstfahrende Autos sicher fahren können, müssen Modelle auf einer Vielzahl von Szenarien trainiert werden, einschließlich seltener oder gefährlicher Situationen. Das Sammeln realer Daten für diese Grenzfälle kann jedoch schwierig und manchmal unsicher sein. Synthetische Daten können helfen, Szenen zu erstellen, in denen Modelle lernen können, Objekte in schwierigen Situationen zu erkennen. Sie können auch verschiedene Sensorkonfigurationen nachahmen, was hilfreich ist, da nicht alle selbstfahrenden Autos dieselbe Hardware verwenden.

NVIDIAs DRIVE Sim Plattform ist ein hervorragendes Beispiel dafür. Sie erstellt hochwertige synthetische Daten mithilfe fotorealistischer 3D-Modelle, virtueller Umgebungen und Sensorsimulationen. Sie kann auch Bilder aus mehreren Fahrwinkeln aus einem einzigen Bild generieren. Die Verwendung solcher synthetischer Daten hilft, den Bedarf an teuren realen Tests zu reduzieren und bietet dem Modell gleichzeitig die Vielfalt, die es für ein effektives Lernen benötigt.

Abb. 4. Erstellung mehrerer Fahransichten aus einem Bild (Quelle).

Link to this sectionReduzierung von Verzerrungen in der medizinischen Bildgebungs-KI durch synthetische Daten#

Computer Vision-Modelle wie Ultralytics YOLO11, die Aufgaben wie Objekterkennung und Instanzsegmentierung unterstützen, können für medizinische Bildgebungsanwendungen benutzerdefiniert trainiert werden. Reale Trainingsdaten enthalten jedoch oft Verzerrungen, da sie möglicherweise Patienten aus allen demografischen Gruppen nicht angemessen repräsentieren.

Zum Beispiel wird Hautkrebs bei Personen mit dunkleren Hauttönen seltener diagnostiziert, was zu begrenzten Daten für diese Bevölkerungsgruppen führt. Dieses Ungleichgewicht kann zu Fehldiagnosen und ungleichen Gesundheitsergebnissen beitragen, insbesondere in Bereichen wie Histopathologie, Röntgenaufnahmen des Brustkorbs und Dermatologie.

Synthetische Bilder können einen Teil dazu beitragen, diese Datenlücke zu schließen. Durch die Generierung zusätzlicher, vielfältiger Beispiele, wie variierte Gewebeanomalien, eine breite Palette von Lungenerkrankungen und Hauttöne mit verschiedenen Läsionstypen, können synthetische Daten helfen, die Modellleistung bei unterrepräsentierten Gruppen zu verbessern.

Forscher arbeiten derzeit an der Entwicklung und Validierung synthetischer Datensätze, um diese Ziele zu unterstützen. Sie erforschen auch, wie synthetische Daten verwendet werden können, um medizinische Instrumente und Behandlungsstrategien zu testen, ohne sich auf echte Patientenakten verlassen zu müssen, was hilft, die Forschung zu beschleunigen und gleichzeitig den Patientenschutz zu wahren. Durch diese Arbeit ebnen synthetische Daten den Weg für integrativere, genauere und ethischere medizinische KI-Systeme.

Link to this sectionFörderung der landwirtschaftlichen KI mit synthetischen Daten für Präzisionslandwirtschaft#

Der Aufbau von Vision KI-Systemen für landwirtschaftliche Anwendungen hängt vom Zugriff auf große Mengen beschrifteter Daten ab. Das Sammeln und Beschriften von Bildern von Pflanzen, Krankheiten und Feldbedingungen ist jedoch langsam, teuer und oft durch Dinge wie Wetter, Wachstumsperioden oder die Schwierigkeit, bestimmte Gebiete zu erreichen, begrenzt.

Diese Herausforderungen erschweren es, Computer Vision-Modelle für Aufgaben wie das Erkennen von Pflanzenkrankheiten, Pflanzenüberwachung oder die Ertragsprognose zu trainieren. Hier können synthetische Daten helfen – indem sie verschiedene landwirtschaftliche Umgebungen nachahmen, um nützliche Trainingsbeispiele zu generieren.

Abb. 5. Verwendung synthetischer Bilder für eine verbesserte Krankheitserkennung (Quelle).

Link to this sectionWichtige Erkenntnisse#

Die Verwendung synthetischer Daten stellt einen wichtigen Fortschritt beim Training von KI-Modellen dar, insbesondere für Computer Vision-Systeme in Bereichen, in denen reale Daten begrenzt oder schwer zu erhalten sind. Anstatt sich ausschließlich auf echte Fotos oder Videos zu verlassen, die teuer und zeitaufwändig sein können oder Datenschutzbedenken aufwerfen, ermöglichen es uns synthetische Daten, realistische, beschriftete Bilder bei Bedarf zu generieren.

Es macht es einfacher, Vision KI-Modelle für Aufgaben wie autonomes Fahren, Krankheitserkennung oder Pflanzenüberwachung zu trainieren. Während sich die KI weiterentwickelt, werden synthetische Daten eine noch größere Rolle bei der Beschleunigung von Innovationen und der Verbesserung der Zugänglichkeit in verschiedenen Branchen spielen.

Erfahre mehr über KI auf unserem GitHub repository und tritt unserer wachsenden community bei. Entdecke die Auswirkungen von Anwendungen wie KI in autonomen Fahrzeugen und Computer Vision in der Landwirtschaft. Erkunde unsere Lizenzoptionen und erwecke deine Vision KI-Projekte zum Leben.