Was sind synthetische Daten in der Computer Vision? Ein Überblick

Daten waren schon immer ein treibender Faktor in Bereichen wie Analytics und künstliche Intelligenz (KI). Tatsächlich bestimmt die Art und Weise, wie wir Daten sammeln, generieren und nutzen, die Zukunft intelligenter Systeme. Selbstfahrende Autos sind beispielsweise auf Millionen von beschrifteten Bildern und Sensordaten angewiesen – von Straßenschildern bis hin zu Fußgängerbewegungen –, um zu lernen, wie man sicher durch den Verkehr navigiert.

Eine der wichtigsten Datenarten, die diesen Fortschritt vorantreibt, insbesondere in Bereichen wie autonomes Fahren und Sicherheit, sind visuelle Daten wie Bilder und Videos.

Insbesondere wird der Bereich der KI, der Maschinen in die Lage versetzt, diese visuellen Informationen zu interpretieren, als computer vision bezeichnet. Er hilft Systemen dabei, visuelle Eingaben ähnlich wie Menschen zu verstehen und zu analysieren, und unterstützt Aufgaben wie Gesichtserkennung, Verkehrsschildererkennung und medizinische Bildanalyse.

Das Sammeln großer, hochwertiger visueller Datensätze aus der realen Welt kann jedoch zeitaufwändig und kostspielig sein und wirft häufig Datenschutzbedenken auf. Deshalb erforschen Forscher aktiv das Konzept der Nutzung synthetischer Daten.

Synthetic data bezieht sich auf künstlich erzeugte Grafiken, die realistische Bilder und Videos täuschend echt nachahmen. Sie wird mit Techniken wie 3D-Modellierung, Computersimulationen und generativen KI-Methoden wie Generative Adversarial Networks (GANs) erstellt, die Muster aus realen Daten lernen, um realistische neue Beispiele zu erzeugen.

Es wird erwartet, dass synthetische Daten in der AI development bald eine entscheidende Rolle spielen werden – Gartner prognostiziert, dass sie bis 2030 wichtiger werden als reale Daten. In diesem Artikel untersuchen wir, was synthetische Daten im Kontext von computer vision sind, wie sie generiert werden und wo sie in realen Szenarien eingesetzt werden. Legen wir los!

Was sind synthetische Daten im Bereich Computer Vision?#

Angenommen, du möchtest ein vision AI model trainieren, um Objekte in verschiedenen Umgebungen und Bedingungen zu erkennen. Sich nur auf reale Daten zu verlassen, kann schwierig sein und sich manchmal einschränkend anfühlen.

Unterdessen können synthetische Daten verwendet werden, um den richtigen Datensatz zu erstellen, der Objekte unter verschiedenen künstlich erzeugten Bedingungen enthält. Mit Tools wie 3D modeling und Simulationen können Entwickler Bilder mit präziser Kontrolle über Faktoren wie Beleuchtung, Winkel und Objektplatzierung generieren. Dies wiederum bietet mehr Flexibilität für das Modelltraining als reale Daten.

Synthetische Daten sind besonders hilfreich, wenn die Erfassung realer Daten schwierig oder unmöglich ist. Zum Beispiel würde das Training eines Modells zur Erkennung von Menschen in einer Vielzahl von Posen – wie Laufen, Hocken oder Liegen – das Aufnehmen von Tausenden von Fotos in vielen verschiedenen Umgebungen, Winkeln und Lichtverhältnissen erfordern.

Andererseits können Entwickler mit synthetischen Daten diese Variationen einfach mit genauen Beschriftungen generieren, was Zeit und Aufwand spart und gleichzeitig die Modellleistung verbessert.

Abb. 1. Ein synthetischer Datensatz mit verschiedenen menschlichen Posen und Beleuchtungsvariationen (source).

Synthetische vs. reale Daten in der KI#

Als Nächstes werfen wir einen genaueren Blick auf die Unterschiede zwischen synthetischen Daten und realen Daten. Beide haben beim training AI models ihre Vor- und Nachteile.

Synthetische Daten sind beispielsweise nützlich, wenn reale Daten schwer zu erfassen sind, erfassen aber möglicherweise nicht jedes kleine Detail, das im echten Leben vorkommt. Gleichzeitig sind reale Daten authentischer, aber es kann schwierig sein, sie zu beschaffen, sie zeitaufwändig zu beschriften, und sie decken möglicherweise nicht jede Situation ab.

Durch die Kombination von synthetischen und realen Daten können Entwickler das Beste aus beiden Welten erhalten. Dieses Gleichgewicht hilft KI-Modellen, genauer zu lernen, besser über verschiedene Szenarien hinweg zu generalisieren und Verzerrungen zu reduzieren.

Abb. 2. Synthetische vs. reale Daten in der KI. Bild vom Autor.

Ein Blick auf die Datengenerierung für Computer Vision-Modelle#

Von der Erstellung virtueller Welten mit 3D-Tools bis hin zur Generierung von Bildern mit generativer KI – hier sind einige gängige Methoden zur Erstellung synthetischer training data für computer vision-Modelle:

• 3D-Modellierung: Entwickler verwenden 3D-Software, um digitale Objekte und Szenen zu erstellen. Dies ermöglicht die volle Kontrolle über Aspekte wie Beleuchtung, Kamerawinkel und Objektplatzierung und ist hilfreich für die Generierung realistischer Bilder von Menschen, Fahrzeugen und Umgebungen.
• Simulationen: Diese bilden reale Situationen nach, wie z. B. Verkehrs- oder Fabrikumgebungen, unter Verwendung physikbasierter Engines. Simulationen sind nützlich, um sicher Trainingsdaten in Bereichen wie Robotik und selbstfahrenden Autos zu generieren.
• Generative Adversarial Networks (GANs): GANs sind eine Art von Deep-Learning-Modell, das aus zwei Netzwerken besteht: eines, das Bilder erstellt, und eines, das sie bewertet. Gemeinsam generieren sie hochrealistische Bilder, wie etwa menschliche Gesichter oder Straßenansichten, indem sie von echten Beispielen lernen.
• Prozedurale Generierung: Diese Technik verwendet vordefinierte Regeln oder mathematische Modelle, um automatisch komplexe visuelle Strukturen wie Gelände, Gebäude oder Texturen zu erzeugen. Sie wird oft in Gaming- und Simulationsplattformen eingesetzt und kann mit minimalem menschlichen Aufwand umfangreiche, vielfältige Datensätze produzieren.
• Domain Randomization: Dabei können Dinge wie Beleuchtung, Farben und Objektformen in synthetischen Szenen zufällig verändert werden. Das Ziel dieser Technik ist es, Modellen dabei zu helfen, sich auf das Wesentliche zu konzentrieren, wodurch sie anpassungsfähiger an reale Umgebungen werden.

Abb. 3. Datenbeispiele: (a) basierend auf 3D-Modellen, (b) synthetische Szenen mit mehreren Objekten und (c) reale Datensatzbilder (source).

Vision KI-Modelltraining mit synthetischen Daten#

Nachdem wir einige der verschiedenen Methoden zur Erstellung synthetischer Daten besprochen haben, schauen wir uns nun an, wie sie für das Training von KI-Modellen verwendet werden.

Nach der Generierung können synthetische Daten in der Regel auf die gleiche Weise wie reale Daten direkt in die Trainingspipeline integriert werden. Sie enthalten typischerweise die notwendigen Annotationen, wie Objektlabels, Begrenzungsrahmen (BBoxes) oder Segmentierungsmasken, was bedeutet, dass sie für überwachtes Lernen verwendet werden können, bei dem Modelle von beschrifteten Eingabe-Ausgabe-Paaren lernen, ohne dass eine manuelle Beschriftung erforderlich ist.

Während des Trainings verarbeitet das Modell synthetische Bilder, um zu lernen, Merkmale zu erkennen, Muster zu identifizieren und Objekte zu klassifizieren. Diese Daten können verwendet werden, um eine erste Version des Modells von Grund auf aufzubauen oder einen bestehenden Datensatz zu erweitern, was hilft, die Modellleistung zu verbessern.

In vielen Arbeitsabläufen werden synthetische Daten auch für das Vortraining verwendet, um Modellen ein breites grundlegendes Verständnis zu geben, bevor sie mit realen Beispielen feinabgestimmt werden. Ebenso werden sie zur Datenergänzung verwendet, indem kontrollierte Variationen eingeführt werden, wie unterschiedliche Lichtverhältnisse, Winkel oder seltene Objektklassen, um die Generalisierung zu verbessern und Overfitting zu reduzieren.

Durch die Kombination von synthetischen und realen Daten können Teams robustere Modelle trainieren, die unter einer Vielzahl von Bedingungen gut funktionieren, und gleichzeitig die Abhängigkeit von zeitaufwändigen und teuren manuellen Datenerfassungsbemühungen verringern.

Reale Anwendungen von synthetischen Daten im Bereich Computer Vision#

Da synthetische Daten praktischer und zugänglicher werden, sehen wir, dass sie für eine Vielzahl realer vision AI-Anwendungsfälle übernommen werden. Schauen wir uns einige der wirkungsvollsten applications in computer vision an, in denen sie eingesetzt werden.

Nutzung synthetischer Daten für die Objekterkennung in autonomen Fahrzeugen#

Um selbstfahrenden Autos beizubringen, sicher zu fahren, müssen Modelle anhand einer Vielzahl von Szenarien trainiert werden, einschließlich seltener oder gefährlicher Situationen. Das Sammeln realer Daten für diese Randfälle kann jedoch eine Herausforderung und manchmal unsicher sein. Synthetische Daten können dabei helfen, Szenen zu erstellen, in denen Modelle lernen können, Objekte in schwierigen Situationen zu detect. Sie können auch verschiedene Sensorkonfigurationen nachahmen, was hilfreich ist, da nicht alle selbstfahrenden Autos dieselbe Hardware verwenden.

NVIDIA’s DRIVE Sim-Plattform ist ein hervorragendes Beispiel dafür. Sie erstellt hochwertige synthetische Daten mithilfe fotorealistischer 3D-Modelle, virtueller Umgebungen und Sensorsimulationen. Sie kann auch Bilder aus mehreren Fahrwinkeln aus einem einzigen Bild generieren. Die Verwendung solcher synthetischen Daten trägt dazu bei, den Bedarf an teuren Tests in der realen Welt zu reduzieren und dem Modell dennoch die Vielfalt zu geben, die es für ein effektives Lernen benötigt.

Abb. 4. Erstellen mehrerer Fahransichten aus einem einzigen Bild (source).

Reduzierung von Verzerrungen in der medizinischen Bildgebungs-KI durch synthetische Daten#

computer vision-Modelle wie Ultralytics YOLO11, die Aufgaben wie Objekterkennung und Instanzsegmentierung unterstützen, können für Anwendungen in der medizinischen Bildgebung benutzerdefiniert trainiert werden. Reale Trainingsdaten enthalten jedoch häufig Verzerrungen, da sie Patienten aus allen demografischen Gruppen möglicherweise nicht angemessen repräsentieren.

Beispielsweise wird skin cancer bei Personen mit dunklerem Hautton seltener diagnostiziert, was zu begrenzten Daten für diese Bevölkerungsgruppen führt. Dieses Ungleichgewicht kann zu Fehldiagnosen und ungleichen Gesundheitsergebnissen beitragen, insbesondere in Bereichen wie Histopathologie, Brust-Röntgenaufnahmen und Dermatologie.

Synthetische Bilder können einen Teil dazu beitragen, diese Datenlücke zu schließen. Durch die Generierung zusätzlicher, vielfältiger Beispiele, wie variierte Gewebeanomalien, eine breite Palette von Lungenerkrankungen und Hauttöne mit verschiedenen Läsionstypen, können synthetische Daten helfen, die Modellleistung bei unterrepräsentierten Gruppen zu verbessern.

Forscher arbeiten derzeit an der Entwicklung und Validierung synthetischer Datensätze zur Unterstützung dieser Ziele. Sie untersuchen auch, wie synthetische Daten verwendet werden können, um test medical tools und Behandlungsstrategien zu testen, ohne sich auf echte Patientenakten zu verlassen, was dazu beiträgt, die Forschung zu beschleunigen und gleichzeitig die Privatsphäre der Patienten zu schützen. Durch diese Arbeit ebnen synthetische Daten den Weg für integrativere, genauere und ethischere medizinische KI-Systeme.

Förderung der landwirtschaftlichen KI mit synthetischen Daten für Präzisionslandwirtschaft#

Der Aufbau von Vision KI-Systemen für landwirtschaftliche Anwendungen hängt vom Zugriff auf große Mengen beschrifteter Daten ab. Das Sammeln und Beschriften von Bildern von Pflanzen, Krankheiten und Feldbedingungen ist jedoch langsam, teuer und oft durch Dinge wie Wetter, Wachstumsperioden oder die Schwierigkeit, bestimmte Gebiete zu erreichen, begrenzt.

Diese Herausforderungen erschweren das Training von computer vision-Modellen zur Bewältigung von Aufgaben wie dem Erkennen von Pflanzenkrankheiten, der monitoring crops oder der Ertragsprognose. Hier können synthetische Daten helfen – indem sie verschiedene landwirtschaftliche Umgebungen nachahmen, um nützliche Trainingsbeispiele zu generieren.

Abb. 5. Verwendung synthetischer Bilder zur verbesserten Erkennung von Krankheiten (source).

Wichtige Erkenntnisse#

Die Verwendung synthetischer Daten stellt einen wichtigen Fortschritt beim Training von KI-Modellen dar, insbesondere für Computer Vision-Systeme in Bereichen, in denen reale Daten begrenzt oder schwer zu erhalten sind. Anstatt sich ausschließlich auf echte Fotos oder Videos zu verlassen, die teuer und zeitaufwändig sein können oder Datenschutzbedenken aufwerfen, ermöglichen es uns synthetische Daten, realistische, beschriftete Bilder bei Bedarf zu generieren.

Es macht es einfacher, Vision KI-Modelle für Aufgaben wie autonomes Fahren, Krankheitserkennung oder Pflanzenüberwachung zu trainieren. Während sich die KI weiterentwickelt, werden synthetische Daten eine noch größere Rolle bei der Beschleunigung von Innovationen und der Verbesserung der Zugänglichkeit in verschiedenen Branchen spielen.

Erfahre mehr über KI in unserem GitHub repository und werde Teil unserer wachsenden community. Entdecke die Auswirkungen von Anwendungen wie AI in autonomous vehicles und computer vision in agriculture. Entdecke unsere licensing-Optionen und erwecke deine vision AI-Projekte zum Leben.