Verschiedene Datentypen für Anwendungen der KI für Bildverarbeitung erkunden

Technologien wie Drohnen waren früher nur begrenzt verfügbar und Forschern sowie Spezialisten vorbehalten. Heute ist fortschrittliche Hardware einem breiteren Publikum zugänglich. Dieser Wandel verändert die Art und Weise, wie wir visuelle Daten erfassen. Dank besser zugänglicher Technologie können wir nun Bilder und Videos aus unterschiedlichsten Quellen aufnehmen, nicht nur mit herkömmlichen Kameras.

Parallel dazu entwickelt sich die Bildanalyse, ermöglicht durch Computer Vision, einen Teilbereich der künstlichen Intelligenz (KI), rasant weiter. Dadurch können Maschinen visuelle Daten effektiver interpretieren und verarbeiten. Dieser Fortschritt hat neue Möglichkeiten für Automatisierung, Objekterkennung und Echtzeitanalyse eröffnet. Maschinen können jetzt Muster erkennen, Bewegungen verfolgen und komplexe visuelle Eingaben verstehen.

Zu den wichtigsten Arten visueller Daten gehören RGB-Bilder (Rot, Grün, Blau), die häufig für die Objekterkennung verwendet werden, Wärmebilder, die bei schlechten Lichtverhältnissen Wärmesignaturen erfassen, und Tiefendaten, mit denen Maschinen 3D-Umgebungen verstehen können. Jede dieser Datenarten spielt eine wichtige Rolle für verschiedene Anwendungen von Vision AI – von der Überwachung bis zur medizinischen Bildgebung.

In diesem Artikel untersuchen wir die wichtigsten Arten visueller Daten, die in Vision AI zum Einsatz kommen, und betrachten, wie die einzelnen Arten zur Verbesserung von Genauigkeit, Effizienz und Leistung in verschiedenen Branchen beitragen.

Die häufigsten Arten von KI-Bild- und Videodatensätzen#

Wenn du mit dem Smartphone ein Foto aufnimmst oder CCTV-Aufnahmen ansiehst, arbeitest du in der Regel mit RGB-Bildern. RGB steht für Rot, Grün und Blau. Dies sind die drei Farbkanäle, die visuelle Informationen in digitalen Bildern darstellen.

RGB-Bilder und -Videos sind eng verwandte Arten visueller Daten, die in Computer Vision verwendet und beide mit herkömmlichen Kameras aufgenommen werden. Der wichtigste Unterschied besteht darin, dass Bilder einen einzelnen Moment festhalten, während Videos aus einer Abfolge von Einzelbildern bestehen, die zeigen, wie sich Dinge im Laufe der Zeit verändern.

RGB-Bilder werden in der Regel für Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung und Posenschätzung verwendet, die von Modellen wie Ultralytics YOLO11 unterstützt werden. Diese Anwendungen beruhen darauf, Muster, Formen oder bestimmte Merkmale in einem einzelnen Bild zu erkennen.

Videos sind dagegen unverzichtbar, wenn Bewegung oder Zeit eine Rolle spielen, beispielsweise bei der Gestenerkennung, Überwachung oder Verfolgung von Handlungen. Da sich Videos als Abfolge von Bildern betrachten lassen, verarbeiten Computer-Vision-Modelle wie Ultralytics YOLO11 sie Bild für Bild, um Bewegungen und Verhalten im Zeitverlauf zu verstehen.

Ultralytics YOLO11 kann beispielsweise RGB-Bilder oder Videos analysieren, um Unkraut zu erkennen und Pflanzen auf landwirtschaftlichen Flächen zu zählen. Das verbessert die Überwachung von Nutzpflanzen und hilft dabei, Veränderungen während der Wachstumszyklen zu verfolgen, um landwirtschaftliche Betriebe effizienter zu bewirtschaften.

Abb. 1. YOLO11 kann Pflanzen erkennen und zählen und so die Überwachung von Nutzpflanzen verbessern.

Tiefendaten in Vision AI: LiDAR und 3D-Wahrnehmung#

Tiefendaten ergänzen visuelle Informationen um eine dritte Dimension, indem sie angeben, wie weit Objekte von der Kamera oder dem Sensor entfernt sind. Anders als RGB-Bilder, die nur Farben erfassen und Texturen abbilden, liefern Tiefendaten räumlichen Kontext. Sie zeigen die Entfernung zwischen Objekten und der Kamera und ermöglichen so die Interpretation der dreidimensionalen Anordnung einer Szene.

Diese Art von Daten wird mit Technologien wie LiDAR, Stereosicht (bei der zwei Kameras die menschliche Tiefenwahrnehmung nachahmen) und Time-of-Flight-Kameras (die messen, wie lange das Licht braucht, um zu einem Objekt und zurück zu gelangen) erfasst. Die Tiefe lässt sich außerdem anhand eines einzelnen RGB-Bildes mithilfe von Modellen zur monokularen Tiefenschätzung vorhersagen.

Unter diesen Technologien ist LiDAR (Lichterkennung und Entfernungsmessung) oft die zuverlässigste Methode zur Tiefenmessung. Dabei werden schnelle Laserimpulse ausgesendet und ihre Rückkehrzeit gemessen. Das Ergebnis ist eine äußerst präzise 3D-Karte, eine sogenannte Punktwolke, die Form, Position und Entfernung von Objekten in Echtzeit darstellt.

Die wachsende Bedeutung von LiDAR in Vision-AI-Systemen#

Die LiDAR-Technologie lässt sich in zwei Haupttypen unterteilen, die jeweils für bestimmte Anwendungen und Umgebungen entwickelt wurden. Hier siehst du beide Typen im Überblick:

• Luftgestütztes LiDAR: Luftgestützte LiDAR-Scanner werden üblicherweise zur Kartierung großer Gebiete eingesetzt und an Drohnen oder Flugzeugen montiert, um hochauflösende Daten für großräumige topografische Kartierungen zu erfassen. Sie eignen sich ideal zur Vermessung von Gelände, Wäldern und Landschaften.
• Terrestrisches LiDAR: Diese Art von LiDAR-Daten wird mit Sensoren erfasst, die an Fahrzeugen oder stationären Plattformen montiert sind. Zu den Anwendungsbereichen gehören die Überwachung von Infrastruktur, das Bauwesen und die Kartierung von Innenräumen. Sie liefert hochdetaillierte Daten für kleinere, örtlich begrenzte Gebiete und eignet sich daher für Aufgaben wie die Stadtplanung und die Vermessung bestimmter Bauwerke.

Eine besonders wirkungsvolle Anwendung von LiDAR-Daten findet sich in autonomen Fahrzeugen, wo LiDAR wichtige Aufgaben wie die Fahrspurerkennung, die Kollisionsvermeidung und die Erkennung nahegelegener Objekte unterstützt. LiDAR erstellt detaillierte 3D-Karten der Umgebung in Echtzeit. So kann das Fahrzeug Objekte erkennen, ihre Entfernung berechnen und sicher navigieren.

Abb. 2. LiDAR-Technologie ermöglicht autonomen Fahrzeugen, die Tiefe zu erfassen und Objekte zu erkennen.

Wärme- und Infrarotdaten in KI-Anwendungen einsetzen#

RGB-Bilder erfassen, was wir im sichtbaren Lichtspektrum sehen. Andere Bildgebungstechnologien wie Wärmebild- und Infrarotaufnahmen gehen jedoch darüber hinaus. Infrarotaufnahmen erfassen Infrarotlicht, das von Objekten ausgesendet oder reflektiert wird, und sind daher bei schlechten Lichtverhältnissen nützlich.

Wärmebildaufnahmen hingegen erfassen die von Objekten abgegebene Wärme und zeigen Temperaturunterschiede. Dadurch funktionieren sie bei völliger Dunkelheit sowie durch Rauch, Nebel und andere Hindernisse hindurch. Diese Datenart ist besonders nützlich, um Probleme zu überwachen und zu erkennen – insbesondere in Branchen, in denen Temperaturänderungen auf mögliche Probleme hindeuten können.

Ein interessantes Beispiel ist die Überwachung von elektrischen Bauteilen mit Wärmebildkameras, um Anzeichen einer Überhitzung zu erkennen. Durch die Erfassung von Temperaturunterschieden können Wärmebildkameras Probleme identifizieren, bevor sie zu Geräteausfällen, Bränden oder kostspieligen Schäden führen.

Abb. 3. Beispiel für den Einsatz von Wärmebildaufnahmen zur Überwachung elektrischer Bauteile.

Ebenso können Infrarotaufnahmen Lecks in Rohrleitungen oder Dämmungen erkennen, indem sie Temperaturunterschiede sichtbar machen, die auf austretende Gase oder Flüssigkeiten hindeuten. Das ist entscheidend, um gefährliche Situationen zu verhindern und die Energieeffizienz zu verbessern.

Multispektrale und hyperspektrale Bildgebung in der KI#

Während Infrarot- und Wärmebildaufnahmen bestimmte Bereiche des elektromagnetischen Spektrums erfassen, sammelt die multispektrale Bildgebung Licht aus einigen ausgewählten Wellenlängenbereichen. Jeder Bereich wird für einen bestimmten Zweck ausgewählt, etwa um gesunde Vegetation zu erkennen oder Oberflächenmaterialien zu identifizieren.

Die hyperspektrale Bildgebung geht noch einen Schritt weiter und erfasst Licht in Hunderten sehr schmaler, zusammenhängender Wellenlängenbereichen. Dadurch erhält jedes Pixel im Bild eine detaillierte Lichtspektralsignatur, die ein viel tieferes Verständnis des beobachteten Materials ermöglicht.

Abb. 4. Vergleich multispektraler und hyperspektraler Bildgebung.

Sowohl die multispektrale als auch die hyperspektrale Bildgebung verwenden spezielle Sensoren und Filter, um Licht mit unterschiedlichen Wellenlängen zu erfassen. Anschließend werden die Daten in einer 3D-Struktur namens Spektralwürfel organisiert, wobei jede Ebene eine andere Wellenlänge darstellt.

KI-Modelle können diese Daten analysieren und Merkmale erkennen, die herkömmliche Kameras oder das menschliche Auge nicht wahrnehmen. Bei der Pflanzenphänotypisierung kann hyperspektrale Bildgebung beispielsweise den Zustand und das Wachstum von Pflanzen überwachen, indem sie subtile Veränderungen an Blättern oder Stängeln erfasst, etwa Nährstoffmangel oder Stress. So können Forscher den Gesundheitszustand von Pflanzen beurteilen und landwirtschaftliche Verfahren optimieren, ohne invasive Methoden einsetzen zu müssen.

Radar- und Sonaraufnahmen mithilfe von KI analysieren#

Radar- und Sonaraufnahmen sind Technologien, die Objekte erkennen und kartieren, indem sie Signale aussenden und deren Reflexionen analysieren – ähnlich wie LiDAR. Anders als RGB-Bildgebung, die Lichtwellen zur Erfassung visueller Informationen nutzt, verwendet Radar elektromagnetische Wellen, in der Regel Radiowellen, während Sonar Schallwellen einsetzt. Radar- und Sonarsysteme senden Impulse aus und messen jeweils die Zeit, die das Signal benötigt, um von einem Objekt zurückzukehren. Daraus lassen sich Informationen über Entfernung, Größe und Geschwindigkeit des Objekts gewinnen.

Radaraufnahmen sind besonders nützlich, wenn die Sicht schlecht ist, etwa bei Nebel, Regen oder in der Nacht. Da Radar nicht auf Licht angewiesen ist, kann es Flugzeuge, Fahrzeuge oder Gelände auch bei völliger Dunkelheit erkennen. Damit ist Radar eine zuverlässige Wahl für die Luftfahrt, die Wetterüberwachung und die autonome Navigation.

Sonaraufnahmen hingegen werden häufig unter Wasser eingesetzt, wo Licht nicht hinkommt. Dabei werden Schallwellen durch das Wasser gesendet, die von untergetauchten Objekten reflektiert werden. So lassen sich U-Boote erkennen, Meeresböden kartieren und Unterwasserrettungseinsätze durchführen. Fortschritte im Computer Vision ermöglichen inzwischen eine weitere Verbesserung der Unterwassererkennung, indem Sonardaten mit intelligenter Analyse kombiniert werden, um Erkennung und Entscheidungsfindung zu optimieren.

Abb. 5. So misst ein Sonarsystem mit Ultraschallimpulsen die Meerestiefe. (Quelle: bbc.co.uk)

Synthetische und simulierte visuelle Daten zum Trainieren von KI-Modellen#

Bisher haben wir verschiedene Arten von Daten besprochen, die in der realen Welt erfasst werden können. Synthetische und simulierte visuelle Daten sind jedoch künstlich erzeugte Inhalte. Synthetische Daten werden von Grund auf mithilfe von 3D-Modellierung oder generativer KI erstellt, um realistisch wirkende Bilder oder Videos zu erzeugen.

Abb. 6. Einblick in synthetisch erzeugte Bilder.

Simulierte Daten sind ähnlich, umfassen aber die Erstellung virtueller Umgebungen, die das Verhalten der physischen Welt nachbilden – darunter Lichtreflexionen, Schattenbildung und Objektbewegungen. Alle simulierten visuellen Daten sind synthetisch, aber nicht alle synthetischen Daten sind simuliert. Der entscheidende Unterschied besteht darin, dass simulierte Daten realistisches Verhalten und nicht nur das Aussehen nachbilden.

Diese Datentypen sind nützlich, um Computer-Vision-Modelle zu trainieren, insbesondere wenn sich reale Daten nur schwer erfassen lassen oder bestimmte, seltene Situationen simuliert werden müssen. Entwickler können ganze Szenen erstellen, Objekttypen, Positionen und Beleuchtung festlegen und automatisch Beschriftungen wie Begrenzungsrahmen für das Training hinzufügen. So lassen sich schnell große, vielfältige Datensätze erstellen, ohne echte Fotos oder manuelle Beschriftungen zu benötigen, die kostspielig und zeitaufwendig sein können.

Im Gesundheitswesen können synthetische Daten beispielsweise dazu verwendet werden, Modelle zur Segmentierung von Brustkrebszellen zu trainieren, da die Erfassung und Beschriftung großer Datensätze mit realen Bildern schwierig ist. Synthetische und simulierte Daten bieten Flexibilität und Kontrolle und schließen Lücken, wenn nur wenige reale Bilddaten verfügbar sind.

Den richtigen Typ visueller Daten für deine KI-Anwendung auswählen#

Nachdem wir uns angesehen haben, wie die verschiedenen Arten visueller Daten funktionieren und was sie leisten können, wollen wir genauer betrachten, welche Datentypen sich am besten für bestimmte Aufgaben eignen:

• RGB-Bilder: Sie eignen sich gut für allgemeine Computer-Vision-Aufgaben wie Bildklassifizierung und Objekterkennung. Sie erfassen Farbe und Textur, sind jedoch unter schwierigen Bedingungen wie schlechten Lichtverhältnissen oder eingeschränkter Sicht nur begrenzt geeignet.
• LiDAR-Bildgebung: Diese Bildgebung ermöglicht eine hochpräzise 3D-Kartierung mithilfe von Laserpulsen. Sie eignet sich hervorragend für Anwendungen, die genaue Entfernungsmessungen erfordern, etwa in der Robotik, bei autonomen Fahrzeugen und bei der Infrastrukturinspektion.
• Wärmebildgebung: Da sie Temperaturunterschiede erkennen kann, ist sie bei schlechten Sichtverhältnissen nützlich, etwa für die Überwachung bei Nacht, die Brandbekämpfung oder das Erkennen von Wärmelecks in Maschinen und Gebäuden.
• Multispektrale und hyperspektrale Bildgebung: Diese Verfahren eignen sich für Aufgaben, die eine detaillierte Materialanalyse erfordern, etwa die Überwachung in der Landwirtschaft, die Qualitätskontrolle von Arzneimitteln oder die Fernerkundung. Sie liefern tiefere Einblicke, indem sie Daten über ein breites Spektrum von Wellenlängen jenseits des sichtbaren Lichts erfassen.
• Radar- und Sonarbildgebung: Sie werden in Umgebungen mit schlechter Sicht bevorzugt. Radar nutzt Funkwellen und ist in der Luftfahrt und Navigation hilfreich, während Sonar Schallwellen zur Erkennung unter Wasser einsetzt.
• Synthetische und simulierte visuelle Daten: Sie eignen sich ideal für das Training von KI-Modellen, wenn reale Daten nur begrenzt verfügbar, nicht verfügbar oder schwer zu kennzeichnen sind. Diese künstlichen visuellen Daten helfen dabei, vielfältige Datensätze für komplexe Szenarien wie seltene Ereignisse oder sicherheitskritische Bedingungen zu erstellen.

Manchmal bietet ein einzelner Datentyp in realen Situationen nicht genügend Genauigkeit oder Kontext. Hier kommt die Fusion multimodaler Sensordaten ins Spiel. Durch die Kombination von RGB-Daten mit anderen Datentypen wie Wärmebild-, Tiefen- oder LiDAR-Daten können Systeme die jeweiligen Einschränkungen überwinden und ihre Zuverlässigkeit und Anpassungsfähigkeit verbessern.

In der Lagerautomatisierung beispielsweise macht der Einsatz von RGB-Daten zur Objekterkennung, Tiefendaten zur Entfernungsmessung und Wärmebilddaten zum Erkennen überhitzter Geräte den Betrieb effizienter und sicherer. Die besten Ergebnisse erzielst du, wenn du Datentypen entsprechend den spezifischen Anforderungen deiner Anwendung auswählst oder miteinander kombinierst.

Die wichtigsten Erkenntnisse#

Beim Entwickeln von Vision-KI-Modellen ist die Wahl des richtigen Typs visueller Daten entscheidend. Aufgaben wie Objekterkennung, Segmentierung und Bewegungsverfolgung hängen nicht nur von Algorithmen, sondern auch von der Qualität der Eingabedaten ab. Saubere, vielfältige und genaue Datensätze helfen, Störungen zu reduzieren und die Leistung zu verbessern.

Durch die Kombination von Datentypen wie RGB-, Tiefen-, Wärmebild- und LiDAR-Daten erhalten KI-Systeme ein umfassenderes Bild ihrer Umgebung und können so unter verschiedenen Bedingungen zuverlässiger arbeiten. Mit der Weiterentwicklung der Technologie dürfte Vision-KI branchenübergreifend schneller, anpassungsfähiger und wirkungsvoller werden.

Werde Teil unserer Community und entdecke unser GitHub-Repository, um mehr über Computer Vision zu erfahren. Entdecke auf unseren Lösungsseiten verschiedene Anwendungsbereiche rund um KI im Gesundheitswesen und Computer Vision im Einzelhandel. Sieh dir unsere Lizenzoptionen an und starte mit Vision-KI.