Hyperspectral Imaging

高光谱成像 (HSI) 会为图像中的每个像素记录反射或发射光的完整光谱，并以数十到数百个连续窄波段进行采样。这些窄波段能够分辨矿物、植物色素、塑料和组织在特定波长处留下的吸收特征，因此即使两种材料在彩色相机中看起来相同，像素的光谱（即光谱特征）仍能识别其表面成分。最终得到的数据立方体包含两个空间轴和一个光谱轴，计算机视觉和机器学习模型既可以逐个像素读取光谱，也可以将其作为联合空间-光谱体进行处理。NASA 喷气推进实验室自 20 世纪 80 年代末起一直在使用机载 AVIRIS 光谱仪进行观测，记录 400 至 2,500 纳米范围内的 224 个连续波段。

高光谱相机如何构建数据立方体#

成像光谱仪通过棱镜、衍射光栅或滤光片组按波长分离入射光，并将其记录在二维探测器上。由于探测器只有两个维度，数据立方体的第三个维度需要通过扫描获得：

• 推扫式（线扫描）：狭缝让场景的一条线进入，光谱仪按波长将该线的光展开到探测器上；随着飞机、卫星或传送带移动，数据立方体逐行构建。
• 摆扫式：旋转镜像经典 AVIRIS 仪器那样，让单个点扫过整个场景。
• 光谱扫描：可调滤光片依次为每个波段拍摄一幅完整图像，适用于显微镜和其他静态场景。
• 快照式：传感器上的滤光片阵列可以在一次曝光中以视频速率捕获整个数据立方体，但代价是空间分辨率较低。

高光谱、多光谱与 RGB 成像的比较#

RGB 相机记录三个宽波段，多光谱成像则记录预先选定的少数几个宽波段，例如 ESA Sentinel-2卫星的 13 个波段，足以计算 NDVI 等植被指数。高光谱传感器则连续采样整个光谱：NASA 的成像光谱仪 EMIT安装在国际空间站上，可在 381 至 2,493 纳米之间记录 285 个波段，波段间隔约为 7.5 纳米。如此丰富的细节会带来更大的数据量、每个波段更低的信噪比，以及相邻波段之间强相关等问题，因此在训练前，处理流水线通常会通过主成分分析或波段选择压缩数据立方体，这属于降维的一种。卫星图像分析会使用这两类影像，而传感器融合通常会将高光谱数据立方体与 LiDAR 高程数据或高分辨率 RGB 影像结合起来。

使用 AI 分析高光谱数据#

作为数据预处理的一部分，首先通过辐射校准将原始传感器计数值转换为反射率；对于机载和卫星数据，还需要进行大气校正。经典方法会将每个像素与参考光谱进行比较：光谱角度映射器会计算两条光谱之间的夹角，不受亮度影响；线性解混则会估算各纯材料（即端元）对混合像素的贡献比例。深度学习模型可以对一维光谱分类、在主成分上运行二维卷积神经网络，或对空间-光谱图块应用三维卷积和 Transformer。在没有标签的情况下，异常检测会标记光谱与场景背景不同的像素，例如气体羽流或伪装物体。

像素分类是高光谱领域的语义分割形式，常用小型机载场景进行基准测试，例如 Indian Pines 和 Pavia University。Indian Pines 由 AVIRIS 在印第安纳州西北部上空采集，大小为 145×145 像素，包含 224 个波段；去除水吸收波段后剩 200 个波段，共有 16 种作物和土地覆盖类别。Pavia University 由 ROSIS 传感器采集，大小为 610×340 像素，包含 103 个波段和 9 个类别。若从单一场景中随机划分像素，训练集和测试集就会同时包含相邻且几乎相同的像素，这种数据泄漏会抬高准确率。因此，可靠的评估会留出空间上彼此分离的区域。

Ultralytics YOLO 会从数据集 YAML的 channels 键中读取输入通道数，并加载多通道 TIFF 图像，因此 YOLO26目标检测模型可以使用选定波段或主成分堆叠后的数据进行训练，10 通道的 COCO8-Multispectral数据集就展示了这一点。

实际应用#

• 精准农业：水分胁迫、营养缺乏和病害会改变叶片光谱中的叶绿素和水分吸收特征，因此无人机和飞机上的相机会逐块田地绘制作物健康状况。
• 回收与食品分选：传送带上方的近红外线扫描相机可以根据吸收光谱区分 PET、聚乙烯和聚丙烯等聚合物；食品生产线也使用相同原理检测异物和碰伤。
• 医学图像分析：含氧和脱氧血红蛋白对光的吸收不同，因此高光谱相机能够绘制组织氧饱和度和灌注情况，用于伤口评估和手术，且无需使用造影剂。
• 地球观测：EMIT 的设计用途是绘制沙漠尘源中的矿物分布图；同一短波红外测量也能分辨甲烷的吸收特征，因此该仪器已能在全球范围内定位垃圾填埋场以及石油和天然气设施的甲烷羽流。