Hyperspectral Imaging

Гиперспектральная съёмка (HSI) записывает полный спектр отражённого или испускаемого света для каждого пикселя изображения, измеряя десятки и сотни узких смежных диапазонов длин волн. Эти узкие диапазоны позволяют различать характерные полосы поглощения минералов, растительных пигментов, пластмасс и тканей, поэтому спектр пикселя, то есть его спектральная сигнатура, показывает состав поверхности, даже если цветовая камера не различает два материала. В результате получается трёхмерный куб данных с двумя пространственными осями и одной спектральной; модели компьютерного зрения и машинного обучения анализируют его по одному спектру пикселя за раз или как единый пространственно-спектральный объём. Лаборатория реактивного движения NASA использует бортовой спектрометр AVIRIS с конца 1980-х годов; он записывает 224 смежных диапазона от 400 до 2 500 нанометров.

Как гиперспектральная камера создаёт куб данных#

Спектрометр визуализации разделяет поступающий свет по длинам волн с помощью призмы, дифракционной решётки или набора фильтров и записывает его на двумерный детектор. Поскольку у детектора только два измерения, третья ось куба формируется сканированием:

• Pushbroom (построчное сканирование): Щель пропускает одну линию сцены, спектрометр распределяет её свет по длинам волн на детекторе, а куб формируется построчно по мере движения самолёта, спутника или конвейерной ленты.
• Whiskbroom: Вращающееся зеркало сканирует сцену по одной точке за раз, как в классическом приборе AVIRIS.
• Спектральное сканирование: Перестраиваемый фильтр последовательно снимает отдельное полное изображение для каждого диапазона; этот метод подходит для микроскопов и других статичных сцен.
• Мгновенная съёмка: Мозаика фильтров на датчике захватывает весь куб данных за одну экспозицию с частотой видео, но снижает пространственное разрешение.

Гиперспектральная, мультиспектральная съёмка и RGB-изображения#

RGB-камера записывает три широких диапазона, а мультиспектральная съёмка — несколько заранее выбранных широких диапазонов, например 13 диапазонов спутников ESA Sentinel-2, которых достаточно для расчёта вегетационных индексов вроде NDVI. Гиперспектральные датчики непрерывно измеряют спектр: спектрометр визуализации EMIT NASA на Международной космической станции записывает 285 диапазонов от 381 до 2 493 нанометров с шагом около 7,5 нанометра. За эту детализацию приходится платить большим объёмом данных, более низким отношением сигнал/шум в каждом диапазоне и сильной корреляцией соседних диапазонов. Поэтому перед обучением конвейеры часто сжимают куб данных с помощью анализа главных компонент или выбора диапазонов — это разновидность снижения размерности. В анализе спутниковых изображений используют оба типа изображений, а объединение данных датчиков часто сочетает гиперспектральный куб с данными о высоте LiDAR или RGB-изображениями высокого разрешения.

Анализ гиперспектральных данных с помощью ИИ#

Сначала сырые показания датчика преобразуют в коэффициенты отражения с помощью радиометрической калибровки и, для аэросъёмки и спутниковых данных, атмосферной коррекции в рамках предобработки данных. Затем классические методы сравнивают каждый пиксель с эталонными спектрами: метод спектрального угла оценивает угол между двумя спектрами независимо от яркости, а линейное разложение оценивает долю каждого чистого материала, или конечного компонента, в смешанном пикселе. Модели глубокого обучения классифицируют одномерные спектры, применяют двумерные свёрточные нейронные сети к главным компонентам или используют трёхмерные свёртки и трансформеры для пространственно-спектральных фрагментов. Без меток обнаружение аномалий отмечает пиксели со спектрами, отличающимися от фона сцены, например газовый шлейф или замаскированный объект.

Классификацию пикселей — гиперспектральный вариант семантической сегментации — проверяют на небольших аэросъёмочных сценах, таких как Indian Pines и Pavia University. Сцену Indian Pines снял AVIRIS над северо-западной частью Индианы: её размер составляет 145×145 пикселей, она включает 224 диапазона — 200 после исключения диапазонов поглощения воды — и 16 классов сельскохозяйственных культур и земного покрова. Сцену Pavia University снял датчик ROSIS: её размер составляет 610×340 пикселей, она включает 103 диапазона и 9 классов. При случайном разделении пикселей одной сцены в обучающую и тестовую выборки попадают соседние, почти идентичные пиксели. Это приводит к утечке данных и завышает точность, поэтому надёжная оценка требует отложить пространственно обособленные участки.

Ultralytics YOLO считывает число входных каналов из ключа channels YAML-файла набора данных и загружает многоканальные TIFF-изображения, поэтому модель обнаружения объектов YOLO26 можно обучать на наборе выбранных диапазонов или главных компонент, как демонстрирует десятиканальный набор данных COCO8-Multispectral.

Примеры применения в реальных условиях#

• Точное земледелие: Водный стресс, нехватка питательных веществ и болезни меняют спектральные характеристики поглощения хлорофилла и воды в листьях, поэтому камеры на дронах и самолётах составляют карту состояния посевов по каждому полю.
• Сортировка вторсырья и пищевых продуктов: Линейные камеры ближнего инфракрасного диапазона над конвейерами различают полимеры, такие как PET, полиэтилен и полипропилен, по спектрам поглощения. На линиях сортировки пищевых продуктов тот же принцип используют для обнаружения посторонних примесей и повреждений.
• Анализ медицинских изображений: Оксигенированный и дезоксигенированный гемоглобин по-разному поглощают свет, поэтому гиперспектральные камеры отображают насыщение тканей кислородом и перфузию для оценки ран и проведения операций без контрастных веществ.
• Наблюдение за Землёй: EMIT создали для картирования минералов в источниках пустынной пыли, а те же измерения в коротковолновой инфракрасной области позволяют различать спектры поглощения метана. Благодаря этому прибор обнаруживает шлейфы метана на свалках и нефтегазовых объектах по всему миру.