Erkundung verschiedener Datentypen für Vision AI-Anwendungen

Technologien wie Drohnen waren früher begrenzt und nur Forschern und Spezialisten zugänglich, doch heute wird modernste Hardware einem breiteren Publikum zugänglich. Dieser Wandel verändert die Art und Weise, wie wir visuelle Daten erfassen. Dank zugänglicherer Technologie können wir jetzt Bilder und Videos aus einer Vielzahl von Quellen aufnehmen, die über herkömmliche Kameras hinausgehen.

Parallel dazu entwickelt sich die Bildanalyse, die durch computer vision – einen Zweig der künstlichen Intelligenz (KI) – ermöglicht wird, rasant weiter und versetzt Maschinen in die Lage, visuelle Daten effektiver zu interpretieren und zu verarbeiten. Dieser Fortschritt hat neue Möglichkeiten für Automatisierung, Objekterkennung und Echtzeitanalyse eröffnet. Maschinen können nun Muster erkennen, Bewegungen verfolgen und komplexe visuelle Eingaben verstehen.

Einige wichtige Arten von visual data sind RGB-Bilder (Rot, Grün, Blau), die häufig für die Objekterkennung verwendet werden, Wärmebildaufnahmen, die dabei helfen, Hitzesignaturen bei schlechten Lichtverhältnissen zu erkennen, und Tiefendaten, die es Maschinen ermöglichen, 3D-Umgebungen zu verstehen. Jede dieser Datenarten spielt eine entscheidende Rolle bei der Unterstützung verschiedener Anwendungen von Vision AI, die von der Überwachung bis zur medical imaging reichen.

In diesem Artikel untersuchen wir die wichtigsten Arten von visuellen Daten, die in der Vision-KI verwendet werden, und wie sie jeweils dazu beitragen, Genauigkeit, Effizienz und Leistung in verschiedenen Branchen zu verbessern. Lass uns anfangen!

Der häufigste Typ von KI-Bild- und Videodatensätzen#

Normalerweise arbeitest du mit RGB-Bildern, wenn du ein Smartphone zum Fotografieren verwendest oder CCTV-Aufnahmen ansiehst. RGB steht für Rot, Grün und Blau; das sind die drei Farbkanäle, die visuelle Informationen in digitalen Bildern darstellen.

RGB-Bilder und -Videos sind eng miteinander verbundene Arten visueller Daten, die in der Computer Vision verwendet werden und beide mit Standardkameras aufgenommen werden. Der Hauptunterschied besteht darin, dass Bilder einen einzelnen Moment festhalten, während Videos eine Abfolge von Einzelbildern sind, die zeigen, wie sich Dinge im Laufe der Zeit verändern.

RGB-Bilder werden im Allgemeinen für computer vision tasks wie Objekterkennung, Instanzsegmentierung und Posenschätzung verwendet, unterstützt durch Modelle wie Ultralytics YOLO11. Diese Anwendungen basieren auf dem Identifizieren von Mustern, Formen oder spezifischen Merkmalen in einem einzelnen Frame.

Videos sind hingegen unverzichtbar, wenn Bewegung oder Zeit eine Rolle spielen, wie etwa bei der Gestenerkennung, Überwachung oder Aktionsverfolgung. Da Videos als eine Folge von Bildern betrachtet werden können, verarbeiten Computer-Vision-Modelle wie Ultralytics YOLO11 diese Bild für Bild, um Bewegung und Verhalten im Zeitverlauf zu verstehen.

Beispielsweise kann Ultralytics YOLO11 eingesetzt werden, um RGB-Bilder oder Videos zu analysieren, um Unkraut zu erkennen und Pflanzen auf landwirtschaftlichen Feldern zu zählen. Dies verbessert die Kulturüberwachung und hilft dabei, Veränderungen über Wachstumszyklen hinweg für ein effizienteres Farmmanagement zu verfolgen.

Fig 1. YOLO11 kann Pflanzen für eine intelligentere Ernteüberwachung erkennen und zählen.

Tiefendaten in der Vision-KI: LiDAR und 3D-Wahrnehmung#

Tiefendaten fügen visuellen Informationen eine dritte Dimension hinzu, indem sie angeben, wie weit Objekte von der Kamera oder dem Sensor entfernt sind. Im Gegensatz zu RGB-Bildern, die nur capture color und Textur erfassen, liefern Tiefendaten räumlichen Kontext. Sie zeigen den Abstand zwischen Objekten und der Kamera und machen es so möglich, das 3D-Layout einer Szene zu interpretieren.

Diese Art von Daten wird mithilfe von Technologien wie LiDAR, Stereovision (Verwendung von zwei Kameras zur Nachahmung der menschlichen Tiefenwahrnehmung) und Time-of-Flight-Kameras (Messung der Zeit, die Licht benötigt, um zu einem Objekt und zurück zu gelangen) erfasst.

Unter diesen ist LiDAR (Light Detection and Ranging) oft am zuverlässigsten für die Tiefenmessung. Es funktioniert durch das Aussenden schneller Laserimpulse und die Messung, wie lange sie zum Zurückprallen benötigen. Das Ergebnis ist eine hochpräzise 3D-Karte, ein sogenanntes Punktwolkenmodell, das Form, Position und Entfernung von Objekten in Echtzeit hervorhebt.

Die wachsende Rolle von LiDAR in Vision-KI-Systemen#

Die LiDAR-Technologie kann in zwei Haupttypen unterteilt werden, die jeweils für spezifische Anwendungen und Umgebungen konzipiert sind. Hier ist ein genauerer Blick auf beide Typen:

• Airborne LiDAR: Luftgestützte LiDAR-Scanner werden typischerweise für die Kartierung großer Gebiete eingesetzt und sind auf drones oder Flugzeugen montiert, um hochauflösende Daten für die großflächige topografische Kartierung zu erfassen. Sie sind ideal für die Vermessung von Gelände, Wäldern und Landschaften.
• Terrestrisches LiDAR: Diese Art von LiDAR-Daten wird von Sensoren gesammelt, die an Fahrzeugen oder stationären Plattformen montiert sind, für Anwendungen wie Infrastrukturüberwachung, Bauwesen und Innenraumkartierung. Es liefert hochdetaillierte Daten für kleinere, lokalisierte Bereiche und ist daher nützlich für Aufgaben wie Stadtplanung und die Vermessung spezifischer Strukturen.

Eine wirkungsvolle Anwendung von LiDAR-Daten findet sich in autonomous vehicles, wo sie eine Schlüsselrolle bei Aufgaben wie Fahrspurerkennung, Kollisionsvermeidung und der Identifizierung von Objekten in der Nähe spielen. LiDAR generiert detaillierte 3D-Echtzeitkarten der Umgebung, die es dem Fahrzeug ermöglichen, Objekte zu sehen, deren Abstand zu berechnen und sicher zu navigieren.

Abb. 2. LiDAR-Technologie ermöglicht autonomen Fahrzeugen das Erfassen von Tiefe und die Erkennung von Objekten.

Verwendung von Wärmebild- und Infrarotdaten in KI-Anwendungen#

RGB-Bilder erfassen das, was wir im sichtbaren Lichtspektrum sehen; andere Bildgebungstechnologien wie Wärmebild- und Infrarotkameras gehen jedoch darüber hinaus. Infrarotbildgebung erfasst Infrarotlicht, das von Objekten ausgestrahlt oder reflektiert wird, was sie bei schlechten Lichtverhältnissen nützlich macht.

Die Wärmebildgebung hingegen erkennt die von Objekten abgegebene Wärme und zeigt Temperaturunterschiede an, wodurch sie selbst bei völliger Dunkelheit oder durch Rauch, Nebel und andere Hindernisse hindurch funktioniert. Diese Art von Daten ist besonders nützlich für die Überwachung und Erkennung von Problemen, insbesondere in Branchen, in denen Temperaturänderungen auf potenzielle Probleme hinweisen können.

Ein interessantes Beispiel ist der Einsatz von Wärmebildaufnahmen zur Überwachung von electrical components auf Anzeichen von Überhitzung. Durch die Erkennung von Temperaturunterschieden können Wärmebildkameras Probleme erkennen, bevor sie zu Geräteausfällen, Bränden oder kostspieligen Schäden führen.

Fig 3. Ein Beispiel für den Einsatz von Wärmebildern zur Überwachung elektrischer Komponenten.

In ähnlicher Weise können Infrarotbilder dabei helfen, Lecks in Rohrleitungen oder Isolierungen zu erkennen, indem sie Temperaturunterschiede identifizieren, die auf entweichende Gase oder Flüssigkeiten hinweisen. Dies ist entscheidend, um gefährliche Situationen zu vermeiden und die Energieeffizienz zu verbessern.

Multispektrale und hyperspektrale Bildgebung in der KI#

Während Infrarot- und Wärmebildgebung spezifische Aspekte des elektromagnetischen Spektrums erfassen, sammelt die multispektrale Bildgebung Licht aus einigen ausgewählten Wellenlängenbereichen, die jeweils für einen bestimmten Zweck gewählt wurden, wie etwa das Erkennen gesunder Vegetation oder die Identifizierung von Oberflächenmaterialien.

Die hyperspektrale Bildgebung geht noch einen Schritt weiter, indem sie Licht über Hunderte sehr schmaler und kontinuierlicher Wellenlängenbereiche erfasst. Dies liefert eine detaillierte Lichtsignatur für jeden Pixel im Bild und bietet ein viel tieferes Verständnis des beobachteten Materials.

Fig 4. Vergleich von multispektraler und hyperspektraler Bildgebung.

Sowohl die multispektrale als auch die hyperspektrale Bildgebung verwenden spezielle Sensoren und Filter, um Licht bei unterschiedlichen Wellenlängen zu erfassen. Die Daten werden dann in einer 3D-Struktur organisiert, die als Spektralwürfel bezeichnet wird, wobei jede Schicht eine andere Wellenlänge darstellt.

KI-Modelle können diese Daten analysieren, um Merkmale zu erkennen, die normale Kameras oder das menschliche Auge nicht sehen können. Beispielsweise kann die hyperspektrale Bildgebung in der plant phenotyping verwendet werden, um die Gesundheit und das Wachstum von Pflanzen zu überwachen, indem subtile Veränderungen in ihren Blättern oder Stängeln wie Nährstoffmängel oder Stress erkannt werden. Dies hilft Forschern, den Gesundheitszustand von Pflanzen zu bewerten und landwirtschaftliche Praktiken zu optimieren, ohne invasive Methoden anwenden zu müssen.

Analyse von Radar- und Sonarbildgebung mittels KI#

Radar- und Sonarbildgebung sind Technologien, die Objekte erkennen und kartieren, indem sie Signale aussenden und deren Reflexionen analysieren, ähnlich wie bei LiDAR. Im Gegensatz zur RGB-Bildgebung, die auf Lichtwellen angewiesen ist, um visuelle Informationen zu erfassen, verwendet Radar elektromagnetische Wellen, typischerweise Radiowellen, während Sonar Schallwellen nutzt. Sowohl Radar- als auch Sonarsysteme senden Impulse aus und messen die Zeit, die das Signal benötigt, um von einem Objekt zurückzuprallen, was Informationen über dessen Entfernung, Größe und Geschwindigkeit liefert.

Radarbildgebung ist besonders nützlich bei schlechter Sicht, etwa bei Nebel, Regen oder in der Nacht. Da sie nicht auf Licht angewiesen ist, kann sie Flugzeuge, Fahrzeuge oder Gelände bei völliger Dunkelheit erkennen. Dies macht Radar zu einer zuverlässigen Wahl in der Luftfahrt, bei der Wetterüberwachung und der autonomen Navigation.

Im Vergleich dazu wird die Sonarbildgebung häufig in Unterwasserumgebungen eingesetzt, in die kein Licht vordringen kann. Sie nutzt Schallwellen, die sich durch Wasser bewegen und von untergetauchten Objekten abprallen, was die Erkennung von U-Booten, die Kartierung von Meeresböden und die Durchführung von Unterwasser-Rettungsmissionen ermöglicht. Fortschritte in der Computer Vision ermöglichen nun eine weitere Verbesserung der underwater detection durch die Kombination von Sonardaten mit intelligenter Analyse für eine bessere Erkennung und Entscheidungsfindung.

Abb. 5. Wie ein SONAR-System Ultraschallimpulse nutzt, um die Meerestiefe zu messen. (Quelle: bbc.co.uk)

Synthetische und simulierte visuelle Daten für das KI-Modelltraining#

Bisher haben wir über verschiedene Arten von Daten gesprochen, die aus der realen Welt gesammelt werden können. Synthetische und simulierte visuelle Daten sind jedoch beide Arten künstlicher Inhalte. Synthetische Daten werden von Grund auf mithilfe von 3D modeling oder generativer KI erzeugt, um realistisch wirkende Bilder oder Videos zu produzieren.

Fig 6. Ein Blick auf synthetisch generierte Bilder.

Simulierte Daten sind ähnlich, beinhalten aber die Erstellung virtueller Umgebungen, die das Verhalten der physischen Welt nachahmen, einschließlich Lichtreflexion, Schattenbildung und Objektbewegung. Während alle simulierten visuellen Daten synthetisch sind, sind nicht alle synthetischen Daten simuliert. Der Hauptunterschied besteht darin, dass simulierte Daten ein realistisches Verhalten nachbilden, nicht nur das Erscheinungsbild.

Diese Datenarten sind nützlich für das Training von computer vision models, insbesondere wenn reale Daten schwer zu sammeln sind oder wenn spezifische, seltener vorkommende Situationen simuliert werden müssen. Entwickler können ganze Szenen erstellen, Objekttypen, Positionen und Beleuchtung auswählen und automatisch Beschriftungen wie Bounding-Boxen für das Training hinzufügen. Dies hilft dabei, schnell große und vielfältige Datensätze aufzubauen, ohne echte Fotos oder manuelle Beschriftungen zu benötigen, was kostspielig und zeitaufwändig sein kann.

Im Gesundheitswesen können synthetische Daten beispielsweise verwendet werden, um Modelle für die Segmentierung von Brustkrebszellen zu trainieren, wo das Sammeln und Kennzeichnen großer Datensätze echter Bilder schwierig ist. Synthetische und simulierte Daten bieten Flexibilität und Kontrolle und füllen Lücken, wo reale visuelle Daten begrenzt sind.

Auswahl des richtigen Typs visueller Daten für deine KI-Anwendung#

Nachdem wir uns angesehen haben, wie verschiedene Arten visueller Daten funktionieren und was sie leisten können, schauen wir uns genauer an, welche Datentypen für bestimmte Aufgaben am besten geeignet sind:

• RGB-Bilder: Sie eignen sich perfekt für allgemeine Computer-Vision-Aufgaben wie image classification und Objekterkennung. Sie erfassen Farbe und Textur, stoßen jedoch unter schwierigen Bedingungen wie schlechten Lichtverhältnissen oder schlechter Sicht an ihre Grenzen.
• LiDAR-Bildgebung: Diese Art der Bildgebung bietet eine hochpräzise 3D-Kartierung mithilfe von Laserimpulsen. Sie ist hervorragend für Anwendungen geeignet, die genaue Abstandsmessungen erfordern, wie Robotik, autonome Fahrzeuge und Infrastrukturinspektion.
• Wärmebildgebung: Da sie Temperaturunterschiede erkennen kann, ist sie bei Bedingungen mit schlechter Sicht nützlich, wie etwa bei der nächtlichen Überwachung, bei der Brandbekämpfung oder beim Erkennen von Wärmelecks in Maschinen und Gebäuden.
• Multispektrale und hyperspektrale Bildgebung: Sie sind nützlich für Aufgaben, die eine detaillierte Materialanalyse erfordern, wie etwa landwirtschaftliche Überwachung, Qualitätskontrolle in der Pharmazie oder Fernerkundung. Diese Methoden bieten tiefere Einblicke durch die Erfassung von Daten über einen weiten Wellenlängenbereich, der über sichtbares Licht hinausgeht.
• Radar- und Sonarbildgebung: Sie werden in Umgebungen mit schlechter Sicht bevorzugt. Radar verwendet Radiowellen und ist hilfreich in der Luftfahrt und Navigation, während Sonar Schallwellen nutzt, um die Unterwassererkennung zu ermöglichen.
• Synthetische und simulierte visuelle Daten: Sie sind ideal für das training AI models, wenn reale Daten begrenzt, nicht verfügbar oder schwer zu beschriften sind. Diese künstlichen visuellen Inhalte helfen dabei, vielfältige Datensätze für komplexe Szenarien wie seltene Ereignisse oder sicherheitskritische Bedingungen zu erstellen.

Manchmal liefert ein einzelner Datentyp in realen Situationen nicht genügend Genauigkeit oder Kontext. Hier wird multimodale Sensorfusion entscheidend. Durch die Kombination von RGB mit anderen Datentypen wie Wärme, Tiefe oder LiDAR können Systeme individuelle Einschränkungen überwinden und Zuverlässigkeit sowie Anpassungsfähigkeit verbessern.

In der warehouse automation sorgt beispielsweise die Verwendung von RGB für die Objekterkennung, Tiefe für die Distanzmessung und Wärmebildern für das Erkennen von überhitzenden Geräten dafür, dass Abläufe effizienter und sicherer werden. Letztendlich erzielt man die besten Ergebnisse, indem man Datentypen basierend auf den spezifischen Anforderungen der eigenen Anwendung auswählt oder kombiniert.

Wichtige Erkenntnisse#

Beim Aufbau von Vision-KI-Modellen ist die Wahl der richtigen Art visueller Daten entscheidend. Aufgaben wie Objekterkennung, Segmentierung und Bewegungsverfolgung hängen nicht nur von Algorithmen ab, sondern auch von der Qualität der Eingabedaten. Saubere, vielfältige und genaue Datensätze helfen, Rauschen zu reduzieren und die Leistung zu steigern.

Durch die Kombination von Datentypen wie RGB, Tiefe, Wärme und LiDAR erhalten KI-Systeme ein vollständigeres Bild der Umgebung, was sie unter verschiedenen Bedingungen zuverlässiger macht. Während sich die Technologie weiter verbessert, wird sie wahrscheinlich den Weg dafür ebnen, dass Vision-KI schneller, anpassungsfähiger und branchenübergreifend wirkungsvoller wird.

Trete unserer community bei und erkunde unser GitHub repository, um mehr über Computer Vision zu erfahren. Entdecke verschiedene Anwendungen rund um AI in healthcare und computer vision in retail auf unseren Lösungsseiten. Sieh dir unsere licensing options an, um mit Vision AI zu beginnen.