Was sind synthetische Daten in Computer Vision? Ein Überblick

Daten sind seit jeher ein wichtiger Antrieb für Bereiche wie Analytik und künstliche Intelligenz (AI). Tatsächlich prägt die Art und Weise, wie wir Daten erfassen, erzeugen und nutzen, die Zukunft intelligenter Systeme. Selbstfahrende Autos sind beispielsweise auf Millionen gekennzeichneter Bilder und Sensormessungen angewiesen – von Verkehrsschildern bis hin zu Fußgängerbewegungen –, um zu lernen, wie sie sicher auf Straßen navigieren.

Eine der wichtigsten Datenarten, die diesen Fortschritt vorantreiben, sind insbesondere in Bereichen wie autonomen Fahrzeugen und Sicherheit visuelle Daten wie Bilder und Videos.

Das KI-Fachgebiet, das Maschinen die Interpretation dieser visuellen Informationen ermöglicht, heißt Computer Vision. Es hilft Systemen, visuelle Eingaben ähnlich wie Menschen zu verstehen und zu analysieren, und unterstützt Aufgaben wie Gesichtserkennung, Erkennung von Verkehrsschildern und medizinische Bildanalyse.

Große, hochwertige visuelle Datensätze aus der realen Welt zusammenzutragen, kann jedoch zeitaufwendig und kostspielig sein und wirft oft Datenschutzfragen auf. Deshalb untersuchen Forschende intensiv das Potenzial synthetischer Daten.

Synthetische Daten sind künstlich erzeugte visuelle Inhalte, die realen Bildern und Videos sehr ähnlich sind. Sie entstehen durch Verfahren wie 3D-Modellierung, Computersimulationen und generative KI-Methoden wie Generative Adversarial Networks (GANs), die Muster aus realen Daten lernen, um realistische neue Beispiele zu erzeugen.

Synthetische Daten dürften bald eine entscheidende Rolle bei der KI-Entwicklung spielen – Gartner prognostiziert, dass sie bis 2030 wichtiger werden als reale Daten. In diesem Artikel untersuchen wir, was synthetische Daten im Kontext von Computer Vision sind, wie sie erzeugt werden und in welchen realen Anwendungsszenarien sie zum Einsatz kommen.

Was sind synthetische Daten in der Computer Vision?#

Angenommen, du möchtest ein Vision-AI-Modell trainieren, das Objekte in vielfältigen Umgebungen und unter unterschiedlichen Bedingungen erkennt. Sich ausschließlich auf reale Daten zu stützen, kann schwierig sein und manchmal einschränkend wirken.

Mit synthetischen Daten lässt sich dagegen ein passender Datensatz erstellen, der Objekte unter verschiedenen künstlich erzeugten Bedingungen enthält. Mithilfe von Tools wie der 3D-Modellierung und Simulationen können Entwickler Bilder erzeugen und dabei Faktoren wie Beleuchtung, Blickwinkel und Objektplatzierung präzise steuern. Dadurch bietet synthetisches Material mehr Flexibilität beim Modelltraining als reale Daten.

Synthetische Daten sind besonders hilfreich, wenn sich reale Daten nur schwer oder gar nicht erfassen lassen. Um beispielsweise ein Modell darauf zu trainieren, Menschen in vielen verschiedenen Posen wie beim Laufen, Hocken oder Liegen zu erkennen, müsste man Tausende Fotos unter zahlreichen Bedingungen, aus unterschiedlichen Blickwinkeln und bei verschiedenen Lichtverhältnissen aufnehmen.

Mit synthetischen Daten können Entwickler solche Variationen dagegen einfach mit präzisen Labels erzeugen. Das spart Zeit und Aufwand und verbessert zugleich die Modellleistung.

Abb. 1. Ein synthetischer Datensatz mit unterschiedlichen menschlichen Posen und Beleuchtungsvarianten (Quelle).

Synthetische und reale Daten in der KI im Vergleich#

Sehen wir uns als Nächstes die Unterschiede zwischen synthetischen und realen Daten genauer an. Beide haben Vor- und Nachteile, wenn es um das Training von KI-Modellen geht.

Synthetische Daten sind beispielsweise nützlich, wenn reale Daten schwer zu beschaffen sind, erfassen aber möglicherweise nicht alle Details des echten Lebens. Reale Daten sind hingegen authentischer, können jedoch schwer zu beschaffen und zeitaufwendig zu kennzeichnen sein und decken womöglich nicht jede Situation ab.

Durch die Kombination synthetischer und realer Daten können Entwickler die Vorteile beider Ansätze nutzen. Dieses ausgewogene Verhältnis hilft KI-Modellen, genauer zu lernen, besser auf unterschiedliche Szenarien zu verallgemeinern und Verzerrungen zu verringern.

Abb. 2. Synthetische und reale Daten in der KI im Vergleich. Bild vom Autor.

Datengenerierung für Computer-Vision-Modelle im Überblick#

Von virtuellen Welten, die mit 3D-Tools erstellt werden, bis hin zu Bildern, die mithilfe generativer KI entstehen: Hier sind einige gängige Methoden zur Erstellung synthetischer Trainingsdaten für Computer-Vision-Modelle:

• 3D-Modellierung: Entwickler verwenden 3D-Software, um digitale Objekte und Szenen zu erstellen. So lassen sich Faktoren wie Beleuchtung, Kamerawinkel und Objektplatzierung vollständig steuern. Das ist hilfreich, um realistische Bilder von Menschen, Fahrzeugen und Umgebungen zu erzeugen.
• Simulationen: Mithilfe physikbasierter Engines bilden sie reale Situationen wie den Straßenverkehr oder Fabrikumgebungen nach. Simulationen eignen sich dazu, Trainingsdaten für Bereiche wie Robotik und selbstfahrende Autos sicher zu erzeugen.
• Generative Adversarial Networks: GANs sind eine Art Deep-Learning-Modell, das aus zwei Netzwerken besteht: Eines erzeugt Bilder, das andere bewertet sie. Gemeinsam erstellen sie durch das Lernen aus realen Beispielen äußerst realistische Bilder, etwa von menschlichen Gesichtern oder Straßenansichten.
• Prozedurale Generierung: Bei dieser Technik werden vordefinierte Regeln oder mathematische Modelle verwendet, um komplexe visuelle Strukturen wie Gelände, Gebäude oder Texturen automatisch zu erzeugen. Sie wird häufig in Spielen und Simulationsplattformen eingesetzt und kann mit minimalem menschlichem Aufwand große, vielfältige Datensätze erstellen.
• Domänenrandomisierung: Dabei lassen sich Beleuchtung, Farben und Objektformen in synthetischen Szenen zufällig verändern. Mit dieser Technik sollen sich Modelle auf das Wesentliche konzentrieren und besser an Umgebungen der realen Welt anpassen.

Abb. 3. Datenbeispiele: (a) auf 3D-Modellen basierend, (b) synthetische Szenen mit mehreren Objekten und (c) Bilder aus realen Datensätzen (Quelle).

Training von Vision-AI-Modellen mit synthetischen Daten#

Nachdem wir einige der verschiedenen Verfahren zur Erstellung synthetischer Daten besprochen haben, sehen wir uns nun an, wie sie zum Training von KI-Modellen eingesetzt werden.

Nach ihrer Erzeugung lassen sich synthetische Daten in der Regel direkt wie reale Daten in die Trainingspipeline integrieren. Sie umfassen normalerweise die erforderlichen Annotationen wie Objektlabels, Begrenzungsrahmen oder Segmentierungsmasken. Daher können sie ohne manuelle Kennzeichnung für überwachtes Lernen verwendet werden, bei dem Modelle anhand gekennzeichneter Eingabe-Ausgabe-Paare lernen.

Während des Trainings verarbeitet das Modell synthetische Bilder, um Merkmale zu erkennen, Muster zu erfassen und Objekte zu klassifizieren. Diese Daten können verwendet werden, um ein erstes Modell von Grund auf zu erstellen oder einen vorhandenen Datensatz zu erweitern und so die Modellleistung zu verbessern.

In vielen Workflows werden synthetische Daten außerdem für das Vortraining genutzt, damit Modelle ein breites Grundverständnis entwickeln, bevor sie mit realen Beispielen fein abgestimmt werden. Ebenso dienen sie der Datenerweiterung: Durch kontrollierte Variationen wie unterschiedliche Lichtverhältnisse und Blickwinkel oder seltene Objektklassen lässt sich die Generalisierung verbessern und Überanpassung verringern.

Durch die Kombination synthetischer und realer Daten können Teams robustere Modelle trainieren, die unter vielfältigen Bedingungen gut funktionieren. Zugleich sind sie weniger auf die zeitaufwendige und kostspielige manuelle Datenerfassung angewiesen.

Anwendungsfälle für synthetische Daten in der Computer Vision#

Synthetische Daten werden immer praktikabler und zugänglicher und kommen zunehmend in verschiedenen realen Vision-AI-Anwendungen zum Einsatz. Sehen wir uns einige der wirkungsvollsten Anwendungen der Computer Vision an, bei denen sie genutzt werden.

Synthetische Daten für die Objekterkennung in autonomen Fahrzeugen nutzen#

Selbstfahrenden Autos das sichere Fahren beizubringen, erfordert das Training von Modellen mit einer Vielzahl von Szenarien, darunter seltene oder gefährliche Situationen. Reale Daten für solche Sonderfälle zu erfassen, kann jedoch schwierig und mitunter unsicher sein. Mithilfe synthetischer Daten lassen sich Szenen erstellen, in denen Modelle lernen können, Objekte in schwierigen Situationen zu erkennen. Sie können außerdem unterschiedliche Sensorkonfigurationen nachbilden. Das ist hilfreich, da nicht alle selbstfahrenden Autos dieselbe Hardware verwenden.

Die Plattform NVIDIA DRIVE Sim ist ein gutes Beispiel dafür. Sie erstellt hochwertige synthetische Daten mithilfe fotorealistischer 3D-Modelle, virtueller Umgebungen und Sensorsimulationen. Außerdem kann sie aus einem einzelnen Bild Ansichten aus verschiedenen Blickwinkeln während der Fahrt erzeugen. Synthetische Daten dieser Art verringern den Bedarf an kostspieligen Tests unter realen Bedingungen und bieten dem Modell dennoch die nötige Vielfalt, um effektiv zu lernen.

Abb. 4. Mehrere Ansichten einer Fahrt aus einem Bild erstellen (Quelle).

Verzerrungen in der medizinischen Bildanalyse mit synthetischen Daten verringern#

Computer-Vision-Modelle wie Ultralytics YOLO11, die Aufgaben wie Objekterkennung und Instanzsegmentierung unterstützen, lassen sich speziell für medizinische Bildgebungsanwendungen trainieren. Reale Trainingsdaten enthalten jedoch häufig Verzerrungen, da Patienten aus bestimmten Bevölkerungsgruppen möglicherweise nicht ausreichend vertreten sind.

Beispielsweise wird Hautkrebs bei Menschen mit dunklerer Haut seltener diagnostiziert, wodurch nur wenige Daten für diese Bevölkerungsgruppen verfügbar sind. Dieses Ungleichgewicht kann zu Fehldiagnosen und einer ungleichen Gesundheitsversorgung beitragen, insbesondere in Bereichen wie Histopathologie, Thoraxröntgen und Dermatologie.

Synthetische Bilder können helfen, diese Datenlücke zu schließen. Durch die Erzeugung zusätzlicher, vielfältiger Beispiele – etwa unterschiedlicher Gewebeveränderungen, eines breiten Spektrums von Lungenerkrankungen und verschiedener Hauttöne mit unterschiedlichen Läsionstypen – können synthetische Daten die Modellleistung für unterrepräsentierte Gruppen verbessern.

Forschende arbeiten derzeit daran, synthetische Datensätze zu entwickeln und zu validieren, um diese Ziele zu unterstützen. Außerdem untersuchen sie, wie synthetische Daten zum Testen medizinischer Tools und Behandlungsstrategien eingesetzt werden können, ohne auf echte Patientenakten zurückzugreifen. So lässt sich die Forschung beschleunigen und zugleich die Privatsphäre der Patienten schützen. Diese Arbeit ebnet den Weg für inklusivere, genauere und ethischere medizinische KI-Systeme.

Landwirtschaftliche KI mit synthetischen Daten für den Präzisionsanbau voranbringen#

Die Entwicklung von Vision-AI-Systemen für die Landwirtschaft setzt große Mengen gekennzeichneter Daten voraus. Das Sammeln und Kennzeichnen von Bildern mit Nutzpflanzen, Krankheiten und Feldbedingungen ist jedoch langsam, kostspielig und oft durch Faktoren wie das Wetter, die Wachstumszeiten oder den schwierigen Zugang zu bestimmten Gebieten eingeschränkt.

Diese Herausforderungen erschweren das Training von Computer-Vision-Modellen für Aufgaben wie die Erkennung von Pflanzenkrankheiten, die Überwachung von Nutzpflanzen oder die Vorhersage von Erträgen. Hier können synthetische Daten helfen: Sie bilden unterschiedliche landwirtschaftliche Umgebungen nach und erzeugen so nützliche Trainingsbeispiele.

Abb. 5. Synthetische Bilder für eine verbesserte Erkennung von Krankheiten nutzen (Quelle).

Die wichtigsten Erkenntnisse#

Der Einsatz synthetischer Daten ist ein wichtiger Fortschritt beim Training von KI-Modellen, insbesondere für Computer-Vision-Systeme in Bereichen, in denen reale Daten nur begrenzt verfügbar oder schwer zu beschaffen sind. Anstatt sich ausschließlich auf echte Fotos oder Videos zu stützen, die kostspielig und zeitaufwendig sein oder Datenschutzbedenken aufwerfen können, lassen sich mit synthetischen Daten realistische, gekennzeichnete Bilder nach Bedarf erzeugen.

Dadurch lassen sich Vision-AI-Modelle leichter für Aufgaben wie autonomes Fahren, Krankheitserkennung oder die Überwachung von Nutzpflanzen trainieren. Mit der Weiterentwicklung der KI werden synthetische Daten Innovationen noch stärker beschleunigen und die Zugänglichkeit in verschiedenen Branchen verbessern.

Erfahre mehr über KI in unserem GitHub-Repository und werde Teil unserer wachsenden Community. Entdecke die Auswirkungen von Anwendungen wie KI in autonomen Fahrzeugen und Computer Vision in der Landwirtschaft. Sieh dir unsere Lizenzoptionen an und erwecke deine Vision-AI-Projekte zum Leben.