Hyperspectral Imaging

Hyperspektrale Bildgebung (HSI) erfasst für jedes Pixel eines Bildes das vollständige Spektrum des reflektierten oder ausgesendeten Lichts, abgetastet in Dutzenden bis Hunderten schmaler, zusammenhängender Wellenlängenbänder. Diese schmalen Bänder erfassen die Absorptionsmerkmale, die Mineralien, Pflanzenfarbstoffe, Kunststoffe und Gewebe bei charakteristischen Wellenlängen hinterlassen. Dadurch zeigt das Spektrum eines Pixels, seine spektrale Signatur, woraus eine Oberfläche besteht – selbst wenn zwei Materialien für eine Farbkamera identisch aussehen. Das Ergebnis ist ein dreidimensionaler Datenwürfel mit zwei räumlichen Achsen und einer Spektralachse, den Modelle für Computer Vision und maschinelles Lernen entweder pixelweise als Spektrum oder als gemeinsames räumlich-spektrales Volumen verarbeiten. Das Jet Propulsion Laboratory der NASA setzt sein luftgestütztes Spektrometer AVIRIS seit Ende der 1980er-Jahre ein. Es erfasst 224 zusammenhängende Bänder zwischen 400 und 2.500 Nanometern.

Wie eine hyperspektrale Kamera den Datenwürfel erstellt#

Ein bildgebendes Spektrometer zerlegt einfallendes Licht mithilfe eines Prismas, eines Beugungsgitters oder einer Reihe von Filtern nach Wellenlängen und zeichnet es auf einem zweidimensionalen Detektor auf. Da der Detektor nur zwei Dimensionen hat, entsteht die dritte Achse des Würfels durch Abtastung:

• Pushbroom (Zeilenscan): Ein Spalt lässt eine Szenenzeile einfallen. Das Spektrometer verteilt das Licht dieser Zeile nach Wellenlänge über den Detektor, und der Datenwürfel wird Zeile für Zeile aufgebaut, während sich Flugzeug, Satellit oder Förderband bewegt.
• Whiskbroom: Ein rotierender Spiegel tastet wie beim klassischen AVIRIS-Instrument einen einzelnen Punkt der Szene ab.
• Spektralscan: Ein abstimmbarer Filter nimmt nacheinander pro Band jeweils ein vollständiges Bild auf. Das eignet sich für Mikroskope und andere statische Szenen.
• Momentaufnahme: Ein Filtermosaik auf dem Sensor erfasst den gesamten Datenwürfel in einer einzigen Belichtung mit Videobildraten, allerdings auf Kosten der räumlichen Auflösung.

Hyperspektrale im Vergleich zu multispektraler und RGB-Bildgebung#

Eine RGB-Kamera erfasst drei breite Bänder; multispektrale Bildgebung erfasst eine kleine Anzahl im Voraus ausgewählter breiter Bänder, etwa die 13 Bänder der Sentinel-2-Satelliten der ESA, die für Vegetationsindizes wie NDVI ausreichen. Hyperspektrale Sensoren erfassen das Spektrum lückenlos: Das bildgebende Spektrometer EMIT der NASA auf der Internationalen Raumstation zeichnet 285 Bänder zwischen 381 und 2.493 Nanometern auf, jeweils etwa 7,5 Nanometer voneinander entfernt. Diese Detailtiefe verursacht ein größeres Datenvolumen, ein niedrigeres Signal-Rausch-Verhältnis pro Band und starke Korrelationen zwischen benachbarten Bändern. Deshalb komprimieren Datenverarbeitungspipelines den Datenwürfel häufig vor dem Training mit Hauptkomponentenanalyse oder einer Bandauswahl – eine Form der Dimensionsreduktion. Bei der Satellitenbildanalyse kommen beide Bildtypen zum Einsatz. Durch Sensorfusion wird ein hyperspektraler Datenwürfel häufig mit LiDAR-Höhendaten oder hochauflösenden RGB-Bildern kombiniert.

Hyperspektrale Daten mit KI analysieren#

Rohwerte der Sensoren werden zunächst durch radiometrische Kalibrierung und bei Luft- und Satellitendaten zusätzlich durch atmosphärische Korrektur in Reflexionswerte umgerechnet – als Teil der Datenvorverarbeitung. Klassische Methoden vergleichen dann jedes Pixel mit Referenzspektren: Der Spektralwinkel-Mapper berechnet den Winkel zwischen zwei Spektren unabhängig von ihrer Helligkeit, während lineare Entmischung den Anteil schätzt, den jedes reine Material oder Endglied zu einem Mischpixel beiträgt. Deep-Learning-Modelle klassifizieren eindimensionale Spektren, wenden zweidimensionale Faltungsnetze auf Hauptkomponenten an oder verarbeiten räumlich-spektrale Ausschnitte mit 3D-Faltungen und Transformern. Ohne Labels markiert die Anomalieerkennung Pixel, deren Spektren vom Szenenhintergrund abweichen, etwa eine Gaswolke oder ein getarntes Objekt.

Die Pixelklassifizierung, das hyperspektrale Gegenstück zur semantischen Segmentierung, wird anhand kleiner luftgestützter Szenen wie Indian Pines bewertet. Diese wurde von AVIRIS über dem Nordwesten Indianas mit 145×145 Pixeln und 224 Bändern aufgenommen; nach dem Entfernen der Wasserabsorptionsbänder bleiben 200 Bänder sowie 16 Klassen für Nutzpflanzen und Landbedeckung. Eine weitere Szene ist Pavia University, aufgenommen vom ROSIS-Sensor mit 610×340 Pixeln, 103 Bändern und 9 Klassen. Zufällige Pixelaufteilungen aus einer einzelnen Szene führen dazu, dass benachbarte, nahezu identische Pixel sowohl in Trainings- als auch in Testdaten vorkommen. Diese Form des Datenlecks lässt die Genauigkeit zu hoch erscheinen. Zuverlässige Bewertungen halten daher räumlich getrennte Gebiete zurück.

Ultralytics YOLO liest die Anzahl der Eingabekanäle aus dem Schlüssel channels einer Datensatz-YAML-Datei und lädt mehrkanalige TIFF-Bilder. Daher kann ein YOLO26-Modell zur Objekterkennung mit einem Stapel ausgewählter Bänder oder Hauptkomponenten trainiert werden, wie der 10-kanalige Datensatz COCO8-Multispectral zeigt.

Anwendungen in der Praxis#

• Präzisionslandwirtschaft: Wasserstress, Nährstoffmangel und Krankheiten verändern Merkmale der Chlorophyll- und Wasserabsorption in Blattspektren. Daher erfassen Kameras an Drohnen und Flugzeugen den Zustand von Nutzpflanzen feldweise.
• Recycling und Lebensmittelsortierung: Nahinfrarot-Zeilenscankameras über Förderbändern unterscheiden Polymere wie PET, Polyethylen und Polypropylen anhand ihrer Absorptionsspektren. In der Lebensmittelverarbeitung findet dasselbe Prinzip Anwendung, um Fremdkörper und Druckstellen zu erkennen.
• Medizinische Bildanalyse: Sauerstoffreiches und sauerstoffarmes Hämoglobin absorbieren Licht unterschiedlich. Daher erfassen hyperspektrale Kameras die Sauerstoffsättigung und Durchblutung von Gewebe zur Wundbeurteilung und während Operationen, ohne Kontrastmittel zu verwenden.
• Erdbeobachtung: EMIT wurde entwickelt, um Mineralien in Quellen von Wüstenstaub zu erfassen. Dieselben Messungen im kurzwelligen Infrarot lösen auch die Absorptionsmerkmale von Methan auf. So konnte das Instrument weltweit Methanwolken über Deponien sowie Öl- und Gasanlagen lokalisieren.