Hyperspectral Imaging

Гиперспектральная визуализация (HSI) объединяет компьютерное зрение и спектроскопию для измерения сцены в широком диапазоне узких спектральных полос. Вместо хранения только значений красного, зеленого и синего цветов каждый пиксель содержит подробный спектр, который может выявить материальные, химические или биологические свойства, невидимые для обычных камер. Это делает HSI ценным инструментом для систем машинного обучения, которым необходимо идентифицировать вещества, оценивать состояние или обнаруживать скрытые аномалии. Исчерпывающее руководство по гиперспектральной визуализации 2026 года описывает HSI как неинвазивный метод зондирования без меток, в то время как обзор гиперспектральных кубов данных NASA иллюстрирует, как пространственные и спектральные измерения формируют трехмерный куб данных. (nature.com)

Link to this sectionКак работает гиперспектральная визуализация#

Гиперспектральная камера измеряет отраженную или излучаемую энергию в десятках или сотнях соседних спектральных полос. Согласно обзору гиперспектрального дистанционного зондирования USGS, это непрерывное сканирование позволяет каждому пикселю предоставлять спектр отражения. Эти спектральные подписи помогают различать материалы, которые выглядят идентично на RGB-изображениях; например, визуализирующий спектрометр EMIT от NASA идентифицирует минералы и атмосферные газы по характерным паттернам поглощения. (usgs.gov)

Типичный конвейер AI включает:

1. Калибровку сенсоров и предобработку данных для исправления шумов, освещения, атмосферных эффектов и непригодных полос.
2. Выбор полос или метод главных компонент для уменьшения количества сотен коррелирующих каналов.
3. Классификацию, обнаружение объектов, сегментацию, регрессию, обнаружение аномалий или спектральное разделение (unmixing).
4. Валидацию на различных локациях, датах съемки и сенсорах для оценки обобщающей способности в реальных условиях.

Модели могут обрабатывать спектры с помощью 1D-сетей, пространственные патчи — с помощью 2D-сетей, или совместные пространственно-спектральные объемы, используя операции, такие как PyTorch 3D-свертка.

Link to this sectionГиперспектральная и другие виды визуализации#

В отличие от RGB-визуализации, использующей три широкие видимые полосы, мультиспектральная визуализация обычно фиксирует ограниченный набор дискретных полос. HSI обычно записывает гораздо больше узких, близко расположенных полос, обеспечивая большую спектральную детализацию, но создавая более крупные и зашумленные наборы данных. Руководство USGS по спектральному разрешению объясняет этот компромисс между спектральной детализацией и качеством сигнала. Гиперспектральная визуализация — это также метод сенсорного сбора данных, в то время как анализ спутниковых изображений описывает интерпретацию орбитальных снимков, а сенсорное слияние объединяет HSI с RGB, тепловыми, LiDAR или радарными данными.

Link to this sectionПрименение ИИ в реальном мире#

• Точное земледелие: Модели обнаруживают болезни сельскохозяйственных культур, стресс из-за недостатка питательных веществ, сорняки и нехватку воды до того, как симптомы станут визуально очевидными. Обзор 2024 года по глубокому обучению для сельскохозяйственной HSI подчеркивает роль CNN, трансформеров, трансферного обучения и обучения на малых выборках для случаев с ограниченными размеченными данными. (sciencedirect.com)
• Промышленная инспекция: Производственные системы выявляют загрязнения, влажность, химический состав или дефектные материалы. Исследование безопасности пищевых продуктов 2024 года объединило HSI и ML для оценки остаточного содержания нитритов в мясных продуктах без проведения деструктивного тестирования. (mdpi.com)
• Анализ медицинских изображений: Спектральные паттерны могут способствовать классификации тканей, оценке перфузии и хирургическому наведению. Исследования интраоперационной гиперспектральной визуализации в режиме реального времени демонстрируют прогресс в области визуализации без меток во время операций. (nature.com)
• Обнаружение аномалий: Экологические системы могут находить редкие минеральные признаки, загрязнения или выбросы парниковых газов, как продемонстрировано в наблюдениях NASA EMIT и AVIRIS-3 за метаном. (svs.gsfc.nasa.gov)

Link to this sectionАктуальные передовые практики и разработки#

Сохраняй метаданные длин волн, калибровочные цели, настройки сенсоров и полноточные измерения; разделяй наборы данных пространственно, а не случайно, чтобы предотвратить утечку данных; и проводи валидацию по сезонам и сенсорам. Рабочие процессы также должны применять коррекцию коэффициента отражения, маскирование облаков, геолокацию и гармонизацию полос пропускания, аналогично алгоритмам обработки NASA HLS. (hls.gsfc.nasa.gov)

Последние исследования движутся в сторону адаптивных спектральных фундаментальных моделей. HyperFree решает вопросы различных конфигураций каналов, в то время как спектральная фундаментальная модель общего назначения исследует перенос знаний между методами дистанционного и проксимального зондирования. Будущие системы, такие как миссия ESA Copernicus CHIME, отражают растущий интерес к стандартизированным крупномасштабным гиперспектральным наблюдениям. (arxiv.org)

Для прототипов обнаружения выбранные HSI-полосы могут быть сохранены как многоканальные файлы TIFF. Следующий запускаемый пример тестирует этот рабочий процесс с использованием набора данных COCO8-Multispectral и YOLO26:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8-multispectral.yaml", epochs=10, imgsz=640)

Этот набор данных имитирует десять видимых каналов и предназначен для тестирования конвейера, а не для научной спектроскопии. Реальные HSI-проекты должны сохранять откалиброванные исходные кубы и выбирать релевантные для задачи полосы перед обучением. Команды могут управлять аннотированием, экспериментами, обучением и развертыванием через Ultralytics Platform.