Verschiedene Datentypen für Vision-AI-Anwendungen entdecken

Technologien wie Drohnen waren früher nur eingeschränkt verfügbar und ausschließlich Forschenden und Fachleuten zugänglich. Heute wird hochmoderne Hardware jedoch für ein breiteres Publikum zugänglich. Dieser Wandel verändert die Art und Weise, wie wir visuelle Daten erfassen. Dank besser zugänglicher Technologie können wir jetzt Bilder und Videos aus verschiedenen Quellen aufnehmen, die über herkömmliche Kameras hinausgehen.

Parallel dazu entwickelt sich die Bildanalyse, ermöglicht durch Computer Vision, einen Bereich der künstlichen Intelligenz (AI), rasant weiter. Dadurch können Maschinen visuelle Daten effektiver interpretieren und verarbeiten. Diese Entwicklung hat neue Möglichkeiten für Automatisierung, Objekterkennung und Echtzeitanalyse eröffnet. Maschinen können jetzt Muster erkennen, Bewegungen verfolgen und komplexe visuelle Eingaben sinnvoll interpretieren.

Zu den wichtigsten Arten visueller Daten gehören RGB-Bilder (Rot, Grün, Blau), die häufig zur Objekterkennung eingesetzt werden, Wärmebilder, die dabei helfen, Wärmesignaturen bei schlechten Lichtverhältnissen zu erkennen, sowie Tiefendaten, mit denen Maschinen 3D-Umgebungen verstehen können. Jeder dieser Datentypen spielt eine wichtige Rolle für verschiedene Anwendungen von Vision-KI – von der Überwachung bis zur medizinischen Bildgebung.

In diesem Artikel sehen wir uns die wichtigsten Arten visueller Daten an, die in der Vision-KI verwendet werden, und untersuchen, wie jeder Datentyp zur Verbesserung von Genauigkeit, Effizienz und Leistung in verschiedenen Branchen beiträgt. Legen wir los!

Die häufigsten Arten von Bild- und Videodatensätzen für AI#

Wenn du mit deinem Smartphone ein Foto aufnimmst oder CCTV-Aufnahmen ansiehst, arbeitest du normalerweise mit RGB-Bildern. RGB steht für Rot, Grün und Blau. Diese drei Farbkanäle stellen visuelle Informationen in digitalen Bildern dar.

RGB-Bilder und -Videos sind eng verwandte Arten visueller Daten, die beide mit Standardkameras aufgenommen werden. Der wichtigste Unterschied besteht darin, dass Bilder einen einzelnen Moment erfassen, während Videos aus einer Folge von Einzelbildern bestehen, die zeigen, wie sich Dinge im Laufe der Zeit verändern.

RGB-Bilder werden im Allgemeinen für Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung und Posenschätzung verwendet, unterstützt durch Modelle wie Ultralytics YOLO11. Diese Anwendungen beruhen darauf, Muster, Formen oder bestimmte Merkmale in einem einzelnen Bild zu erkennen.

Videos sind dagegen unverzichtbar, wenn Bewegung oder Zeit eine Rolle spielen, etwa bei der Gestenerkennung, Überwachung oder Verfolgung von Aktionen. Da Videos als eine Reihe von Bildern betrachtet werden können, verarbeiten Computer-Vision-Modelle wie Ultralytics YOLO11 sie Bild für Bild, um Bewegungen und Verhalten im Laufe der Zeit zu verstehen.

So kann Ultralytics YOLO11 beispielsweise RGB-Bilder oder -Videos analysieren, um Unkraut zu erkennen und Pflanzen auf landwirtschaftlichen Flächen zu zählen. Dies verbessert die Überwachung von Nutzpflanzen und hilft dabei, Veränderungen während der Wachstumszyklen zu verfolgen, um landwirtschaftliche Betriebe effizienter zu verwalten.

Abb. 1. YOLO11 kann Pflanzen erkennen und zählen und so eine intelligentere Überwachung von Nutzpflanzen ermöglichen.

Tiefendaten in der Vision-KI: LiDAR und 3D-Wahrnehmung#

Tiefendaten ergänzen visuelle Informationen um eine dritte Dimension, indem sie angeben, wie weit Objekte von der Kamera oder dem Sensor entfernt sind. Im Gegensatz zu RGB-Bildern, die nur Farbe erfassen und Texturen darstellen, liefern Tiefendaten räumlichen Kontext. Sie zeigen die Entfernung zwischen Objekten und der Kamera und ermöglichen es dadurch, die 3D-Anordnung einer Szene zu interpretieren.

Dieser Datentyp wird mithilfe von Technologien wie LiDAR, Stereo Vision (mit zwei Kameras, um die menschliche Tiefenwahrnehmung nachzuahmen) und Time-of-Flight-Kameras (die messen, wie lange Licht benötigt, um ein Objekt zu erreichen und zurückzukehren) erfasst.

Unter diesen Technologien ist LiDAR (Lichtdetektion und Entfernungsmessung) häufig die zuverlässigste Methode zur Tiefenmessung. Dabei werden schnelle Laserpulse ausgesendet und die Zeit gemessen, die sie für die Rückkehr benötigen. Das Ergebnis ist eine äußerst präzise 3D-Karte, die als Punktwolke bezeichnet wird und Form, Position und Entfernung von Objekten in Echtzeit hervorhebt.

Die wachsende Bedeutung von LiDAR für Vision-KI-Systeme#

Die LiDAR-Technologie lässt sich in zwei Haupttypen unterteilen, die jeweils für bestimmte Anwendungen und Umgebungen entwickelt wurden. Hier siehst du beide Typen im Überblick:

• Luftgestütztes LiDAR: Scanner für luftgestütztes LiDAR werden typischerweise an Drohnen oder Flugzeugen angebracht, um hochauflösende Daten für großflächige topografische Kartierungen zu erfassen. Diese Technologie eignet sich ideal für die Vermessung von Gelände, Wäldern und Landschaften.
• Terrestrisches LiDAR: Bei diesem LiDAR-Datentyp werden die Daten von Sensoren erfasst, die an Fahrzeugen oder stationären Plattformen angebracht sind. Einsatzbereiche sind unter anderem die Überwachung von Infrastruktur, das Bauwesen und die Kartierung von Innenräumen. Die Technologie liefert äußerst detaillierte Daten für kleinere, lokal begrenzte Gebiete und eignet sich daher für Aufgaben wie Stadtplanung und die Vermessung bestimmter Bauwerke.

Eine wirkungsvolle Anwendung von LiDAR-Daten findet sich bei autonomen Fahrzeugen, wo LiDAR eine wichtige Rolle bei Aufgaben wie Fahrspurerkennung, Kollisionsvermeidung und der Identifizierung naher Objekte spielt. LiDAR erstellt detaillierte 3D-Karten der Umgebung in Echtzeit. Dadurch kann das Fahrzeug Objekte erkennen, ihre Entfernung berechnen und sicher navigieren.

Abb. 2. Die LiDAR-Technologie ermöglicht autonomen Fahrzeugen die Tiefenkartierung und Objekterkennung.

Wärme- und Infrarotdaten in AI-Anwendungen nutzen#

RGB-Bilder erfassen, was wir im sichtbaren Lichtspektrum sehen. Andere Bildgebungstechnologien wie Wärme- und Infrarotbildgebung gehen jedoch darüber hinaus. Die Infrarotbildgebung erfasst Infrarotlicht, das von Objekten ausgesendet oder reflektiert wird, und ist dadurch bei schlechten Lichtverhältnissen nützlich.

Die Wärmebildgebung erfasst dagegen die von Objekten abgegebene Wärme und zeigt Temperaturunterschiede. Dadurch kann sie bei völliger Dunkelheit sowie durch Rauch, Nebel und andere Hindernisse hindurch eingesetzt werden. Dieser Datentyp ist besonders nützlich für die Überwachung und Erkennung von Problemen, insbesondere in Branchen, in denen Temperaturveränderungen auf mögliche Störungen hinweisen können.

Ein interessantes Beispiel ist der Einsatz von Wärmebildgebung zur Überwachung elektrischer Komponenten auf Anzeichen von Überhitzung. Durch die Erkennung von Temperaturunterschieden können Wärmebildkameras Probleme erkennen, bevor es zu Geräteausfällen, Bränden oder kostspieligen Schäden kommt.

Abb. 3. Ein Beispiel für den Einsatz von Wärmebildgebung zur Überwachung elektrischer Komponenten.

Ebenso können Infrarotbilder dabei helfen, Lecks in Pipelines oder Isolierungen zu erkennen, indem sie Temperaturunterschiede identifizieren, die auf austretende Gase oder Flüssigkeiten hinweisen. Dies ist entscheidend, um gefährliche Situationen zu verhindern und die Energieeffizienz zu verbessern.

Multispektrale und hyperspektrale Bildgebung in AI#

Während Infrarot- und Wärmebildgebung bestimmte Bereiche des elektromagnetischen Spektrums erfassen, sammelt die multispektrale Bildgebung Licht aus einigen ausgewählten Wellenlängenbereichen. Jeder Bereich wird für einen bestimmten Zweck ausgewählt, etwa zur Erkennung gesunder Vegetation oder zur Identifizierung von Oberflächenmaterialien.

Die hyperspektrale Bildgebung geht noch einen Schritt weiter und erfasst Licht über Hunderte sehr schmaler und kontinuierlicher Wellenlängenbereiche hinweg. Dadurch entsteht für jedes Pixel im Bild eine detaillierte Lichtsignatur, die ein wesentlich genaueres Verständnis des beobachteten Materials ermöglicht.

Abb. 4. Vergleich von multispektraler und hyperspektraler Bildgebung.

Sowohl die multispektrale als auch die hyperspektrale Bildgebung verwenden spezielle Sensoren und Filter, um Licht bei unterschiedlichen Wellenlängen zu erfassen. Anschließend werden die Daten in einer 3D-Struktur organisiert, die als Spektralwürfel bezeichnet wird, wobei jede Schicht eine andere Wellenlänge darstellt.

AI-Modelle können diese Daten analysieren, um Merkmale zu erkennen, die herkömmliche Kameras oder das menschliche Auge nicht wahrnehmen können. Bei der Pflanzenphänotypisierung kann die hyperspektrale Bildgebung beispielsweise den Gesundheitszustand und das Wachstum von Pflanzen überwachen, indem subtile Veränderungen an Blättern oder Stängeln erkannt werden, etwa Nährstoffmangel oder Stress. Dadurch können Forschende den Gesundheitszustand von Pflanzen bewerten und landwirtschaftliche Verfahren optimieren, ohne invasive Methoden einsetzen zu müssen.

Radar- und Sonarbildgebung mit AI analysieren#

Radar- und Sonarbildgebung sind Technologien, die Objekte erkennen und kartieren, indem sie Signale aussenden und deren Reflexionen analysieren – ähnlich wie LiDAR. Im Gegensatz zur RGB-Bildgebung, die visuelle Informationen mithilfe von Lichtwellen erfasst, verwendet Radar elektromagnetische Wellen, typischerweise Radiowellen, während Sonar Schallwellen nutzt. Beide Systeme senden Pulse aus und messen die Zeit, die das Signal benötigt, um von einem Objekt zurückzukehren. So erhalten sie Informationen über Entfernung, Größe und Geschwindigkeit des Objekts.

Die Radarbildgebung ist besonders nützlich bei schlechter Sicht, etwa bei Nebel, Regen oder in der Nacht. Da sie nicht auf Licht angewiesen ist, kann sie Flugzeuge, Fahrzeuge oder Gelände bei völliger Dunkelheit erkennen. Dadurch ist Radar eine zuverlässige Wahl für die Luftfahrt, Wetterüberwachung und autonome Navigation.

Im Vergleich dazu wird die Sonarbildgebung häufig in Unterwasserumgebungen eingesetzt, in die kein Licht vordringen kann. Sie nutzt Schallwellen, die sich durch Wasser ausbreiten und von untergetauchten Objekten zurückgeworfen werden. Dadurch können U-Boote erkannt, Meeresböden kartiert und Unterwasserrettungen durchgeführt werden. Fortschritte im Bereich Computer Vision ermöglichen nun eine weitere Verbesserung der Unterwassererkennung, indem Sonardaten mit intelligenter Analyse kombiniert werden, um Erkennung und Entscheidungsfindung zu verbessern.

Abb. 5. Wie ein SONAR-System mithilfe von Ultraschallpulsen die Meerestiefe misst. (Quelle: bbc.co.uk)

Synthetische und simulierte visuelle Daten zum Training von AI-Modellen#

Bisher haben wir verschiedene Datentypen betrachtet, die aus der realen Welt gesammelt werden können. Synthetische und simulierte visuelle Daten sind dagegen Arten künstlich erzeugter Inhalte. Synthetische Daten werden mithilfe von 3D-Modellierung oder generativer AI von Grund auf erstellt, um realistisch wirkende Bilder oder Videos zu erzeugen.

Abb. 6. Einblick in synthetisch erzeugte Bilder.

Simulierte Daten sind ähnlich, umfassen jedoch die Erstellung virtueller Umgebungen, die das Verhalten der physischen Welt nachbilden, einschließlich Lichtreflexion, Schattenbildung und Objektbewegung. Alle simulierten visuellen Daten sind synthetisch, aber nicht alle synthetischen Daten sind simuliert. Der wesentliche Unterschied besteht darin, dass simulierte Daten realistisches Verhalten und nicht nur das Erscheinungsbild nachbilden.

Diese Datentypen eignen sich zum Training von Computer-Vision-Modellen, insbesondere wenn reale Daten schwer zu erfassen sind oder bestimmte, seltene Situationen simuliert werden müssen. Entwickler können vollständige Szenen erstellen, Objektarten, Positionen und Beleuchtung festlegen und automatisch Beschriftungen wie Begrenzungsrahmen für das Training hinzufügen. So lassen sich schnell große und vielfältige Datensätze erstellen, ohne echte Fotos oder eine manuelle Beschriftung zu benötigen, die kostspielig und zeitaufwendig sein kann.

Im Gesundheitswesen können synthetische Daten beispielsweise verwendet werden, um Modelle zur Segmentierung von Brustkrebszellen zu trainieren, da die Erfassung und Beschriftung großer Datensätze realer Bilder schwierig ist. Synthetische und simulierte Daten bieten Flexibilität und Kontrolle und schließen Lücken, wenn visuelle Daten aus der realen Welt nur begrenzt verfügbar sind.

Den richtigen Datentyp für deine AI-Anwendung auswählen#

Nachdem wir betrachtet haben, wie verschiedene Arten visueller Daten funktionieren und was sie leisten können, sehen wir uns nun genauer an, welche Datentypen sich für bestimmte Aufgaben am besten eignen:

• RGB-Bilder: Sie eignen sich ideal für allgemeine Computer-Vision-Aufgaben wie Bildklassifizierung und Objekterkennung. Sie erfassen Farbe und Textur, sind aber bei schwierigen Bedingungen wie wenig Licht oder schlechter Sicht eingeschränkt.
• LiDAR-Bildgebung: Diese Bildgebung ermöglicht eine hochpräzise 3D-Kartierung mithilfe von Laserpulsen. Sie eignet sich hervorragend für Anwendungen, die genaue Entfernungsmessungen erfordern, etwa Robotik, autonome Fahrzeuge und Infrastrukturinspektionen.
• Wärmebildgebung: Da sie Temperaturunterschiede erkennen kann, ist sie bei eingeschränkter Sicht nützlich, etwa für die Überwachung bei Nacht, die Brandbekämpfung oder die Erkennung von Wärmelecks in Maschinen und Gebäuden.
• Multispektrale und hyperspektrale Bildgebung: Sie eignet sich für Aufgaben, die eine detaillierte Materialanalyse erfordern, etwa die Überwachung in der Landwirtschaft, die pharmazeutische Qualitätskontrolle oder die Fernerkundung. Diese Methoden liefern tiefere Einblicke, indem sie Daten über einen breiten Wellenlängenbereich jenseits des sichtbaren Lichts erfassen.
• Radar- und Sonarbildgebung: Sie werden in Umgebungen mit eingeschränkter Sicht bevorzugt. Radar verwendet Radiowellen und ist für Luftfahrt und Navigation hilfreich, während Sonar Schallwellen für die Unterwassererkennung nutzt.
• Synthetische und simulierte visuelle Daten: Sie eignen sich ideal zum Training von AI-Modellen, wenn reale Daten begrenzt, nicht verfügbar oder schwer zu beschriften sind. Diese künstlich erzeugten visuellen Daten helfen beim Aufbau vielfältiger Datensätze für komplexe Szenarien wie seltene Ereignisse oder sicherheitskritische Situationen.

Manchmal bietet ein einzelner Datentyp in realen Situationen nicht genügend Genauigkeit oder Kontext. Hier wird die multimodale Sensorfusion entscheidend. Durch die Kombination von RGB mit anderen Datentypen wie Wärme-, Tiefen- oder LiDAR-Daten können Systeme individuelle Einschränkungen überwinden und ihre Zuverlässigkeit und Anpassungsfähigkeit verbessern.

In der Lagerautomatisierung kann beispielsweise RGB zur Objekterkennung, Tiefe zur Entfernungsmessung und Wärmebildgebung zur Erkennung überhitzter Geräte eingesetzt werden. Dadurch werden Abläufe effizienter und sicherer. Letztlich entstehen die besten Ergebnisse, wenn Datentypen entsprechend den spezifischen Anforderungen deiner Anwendung ausgewählt oder kombiniert werden.

Wichtige Erkenntnisse#

Beim Erstellen von Vision-KI-Modellen ist die Auswahl des richtigen visuellen Datentyps entscheidend. Aufgaben wie Objekterkennung, Segmentierung und Bewegungsverfolgung hängen nicht nur von Algorithmen, sondern auch von der Qualität der Eingabedaten ab. Saubere, vielfältige und genaue Datensätze helfen, Rauschen zu reduzieren und die Leistung zu steigern.

Durch die Kombination von Datentypen wie RGB, Tiefe, Wärme und LiDAR erhalten AI-Systeme ein umfassenderes Bild ihrer Umgebung und werden dadurch unter verschiedenen Bedingungen zuverlässiger. Mit dem weiteren technologischen Fortschritt wird Vision-KI voraussichtlich schneller, anpassungsfähiger und branchenübergreifend wirkungsvoller werden.

Tritt unserer Community bei und erkunde unser GitHub-Repository, um mehr über Computer Vision zu erfahren. Entdecke auf unseren Lösungsseiten verschiedene Anwendungen rund um AI im Gesundheitswesen und Computer Vision im Einzelhandel. Sieh dir unsere Lizenzoptionen an, um mit Vision-KI zu starten.