Hyperspectral Imaging

ハイパースペクトル画像（HSI）は、画像の各ピクセルについて、反射光または放射光の全スペクトルを記録します。数十から数百の狭く連続した波長帯でサンプリングします。狭い波長帯により、鉱物、植物色素、プラスチック、組織が固有の波長で残す吸収特性を捉えられます。そのため、色カメラでは同じように見える2つの物質でも、ピクセルのスペクトル（スペクトル特性）から表面の材質を識別できます。得られるデータは、空間軸2つとスペクトル軸1つを持つ3次元データキューブです。コンピュータービジョンや機械学習のモデルは、各ピクセルのスペクトルを個別に、または空間・スペクトルの両方を含むボリュームとして処理します。NASAのジェット推進研究所は、1980年代後半からAVIRIS航空機搭載分光計を運用し、400～2,500ナノメートルの連続した224バンドを記録しています。

ハイパースペクトルカメラによるデータキューブの構築#

イメージング分光計は、プリズム、回折格子、または一連のフィルターで入射光を波長ごとに分け、2次元検出器に記録します。検出器は2次元しか持たないため、キューブの3つ目の軸はスキャンによって得られます。

• プッシュブルーム（ラインスキャン）: スリットからシーンの1ラインを取り込み、分光計がそのラインの光を波長ごとに分けて検出器に投影します。航空機、衛星、またはコンベヤーベルトが移動するにつれて、ラインごとにキューブが構築されます。
• ウィスクブルーム: 従来のAVIRIS装置のように、回転ミラーでシーン内の1点を走査します。
• スペクトルスキャン: 波長可変フィルターでバンドごとに全画像を順番に撮影する方式で、顕微鏡やその他の静止シーンに適しています。
• スナップショット: センサー上のフィルターモザイクで、動画レートの単一露光によりキューブ全体を撮影しますが、空間解像度は低下します。

ハイパースペクトル、マルチスペクトル、RGB画像の比較#

RGBカメラは3つの広帯域を記録します。マルチスペクトル画像では、ESAのSentinel-2衛星の13バンドなど、事前に選んだ少数の広帯域を記録します。植生指数NDVIの算出にはこれで十分です。ハイパースペクトルセンサーはスペクトルを連続的にサンプリングします。国際宇宙ステーションに搭載されたNASAのEMITイメージング分光計は、381～2,493ナノメートルの範囲を約7.5ナノメートル間隔で285バンド記録します。この詳細さには、データ量の増加、バンドごとの信号対雑音比の低下、隣接バンド間の強い相関という代償があります。そのため、学習前に主成分分析やバンド選択でキューブを圧縮するなど、次元削減を行うパイプラインがよく使われます。衛星画像解析では両種類の画像が使われ、センサーフュージョンではハイパースペクトルキューブをLiDARの標高データや高解像度RGB画像と組み合わせることがよくあります。

AIによるハイパースペクトルデータの解析#

まず、生センサー値を放射量校正によって反射率に変換します。航空機や衛星のデータでは、大気補正も行います。これらはデータ前処理の一部です。従来の手法では、各ピクセルを参照スペクトルと比較します。スペクトル角度マッパーは明るさに関係なく2つのスペクトル間の角度を評価し、線形アンミキシングは混合ピクセルに各純粋物質（エンドメンバー）が占める割合を推定します。ディープラーニングモデルは、1Dスペクトルを分類したり、主成分上で2D 畳み込みニューラルネットワークを実行したり、空間・スペクトルパッチに3D畳み込みやTransformerを適用したりします。ラベルがない場合、異常検知によって、ガスプルームやカモフラージュされた物体など、シーンの背景とスペクトルが異なるピクセルを検出できます。

ハイパースペクトル画像におけるセマンティックセグメンテーションに相当するピクセル分類は、小規模な航空機搭載シーンでベンチマークされます。例として、AVIRISがインディアナ州北西部で撮影したIndian Pinesがあります。画像サイズは145×145ピクセルで、224バンド（吸水バンドを除くと200バンド）、作物・土地被覆クラスは16種類です。また、ROSISセンサーで撮影したPavia Universityは、610×340ピクセル、103バンド、9クラスです。単一シーン内のピクセルをランダムに分割すると、隣接するほぼ同一のピクセルが学習セットとテストセットの両方に含まれ、データリークによって精度が水増しされるため、信頼できる評価では空間的に離れた領域をホールドアウトします。

Ultralytics YOLOは、データセットYAMLのchannelsキーから入力チャンネル数を読み取り、複数チャンネルのTIFF画像を読み込めます。そのため、YOLO26の物体検出モデルは、選択したバンドや主成分のスタックで学習できます。10チャンネルのCOCO8-Multispectralデータセットがその例です。

実際のアプリケーション#

• 精密農業: 水分ストレス、栄養不足、病気は、葉のスペクトルにおけるクロロフィルと水の吸収特性を変化させます。ドローンや航空機に搭載したカメラで、圃場ごとの作物の健康状態をマッピングできます。
• リサイクルと食品選別: コンベヤーベルト上方の近赤外線ラインスキャンカメラは、吸収スペクトルによってPET、ポリエチレン、ポリプロピレンなどのポリマーを識別します。食品の製造ラインでも同じ原理で異物や打撲を検出します。
• 医用画像解析: 酸素化ヘモグロビンと脱酸素化ヘモグロビンでは光の吸収が異なります。そのため、ハイパースペクトルカメラを使い、造影剤なしで組織の酸素飽和度や灌流をマッピングし、創傷評価や手術に役立てられます。
• 地球観測: EMITは砂漠のダスト発生源に含まれる鉱物のマッピングを目的に開発されました。また、同じ短波赤外線測定でメタンの吸収特性も識別できるため、世界各地の埋立地や石油・ガス施設から発生するメタンプルームの発見にも活用されています。