Hyperspectral Imaging

초분광 이미징(HSI)은 이미지의 모든 픽셀에서 반사되거나 방출되는 빛의 전체 스펙트럼을 수십 개에서 수백 개의 좁고 연속된 파장 밴드로 샘플링해 기록합니다. 좁은 밴드는 광물, 식물 색소, 플라스틱, 조직이 특정 파장에서 남기는 흡수 특징을 분해하므로 색상 카메라로는 똑같아 보이는 두 물질도 표면을 구성하는 성분에 따라 픽셀의 스펙트럼, 즉 스펙트럼 시그니처가 구분됩니다. 결과 데이터는 공간축 2개와 스펙트럼축 1개로 이루어진 3차원 데이터 큐브이며, 컴퓨터 비전 및 머신러닝 모델은 이를 픽셀별 스펙트럼으로 읽거나 공간-스펙트럼 볼륨 전체로 처리합니다. NASA 제트추진연구소는 1980년대 후반부터 AVIRIS 항공 분광기를 운용해 왔으며, 400~2,500나노미터 범위에서 연속된 밴드 224개를 기록합니다.

초분광 카메라의 데이터 큐브 생성 방식#

영상 분광기는 프리즘, 회절 격자 또는 필터 세트를 사용해 들어오는 빛을 파장별로 분리하고 2차원 검출기에 기록합니다. 검출기는 2차원만 처리할 수 있으므로 큐브의 세 번째 축은 스캔으로 생성됩니다.

• 푸시브룸(라인 스캔): 슬릿으로 장면의 한 줄을 받아들이고 분광기는 해당 줄의 빛을 파장별로 분산해 검출기에 투사합니다. 항공기, 위성 또는 컨베이어 벨트가 움직이면서 줄 단위로 큐브를 구성합니다.
• 위스크브룸: 회전 거울이 장면을 가로질러 한 지점을 스캔합니다. 기존 AVIRIS 장비가 이 방식을 사용합니다.
• 스펙트럼 스캔: 조정 가능한 필터가 밴드마다 전체 이미지를 순차적으로 촬영합니다. 현미경과 기타 정적 장면에 적합합니다.
• 스냅샷: 센서의 필터 모자이크가 한 번의 노출로 비디오 속도에서 큐브 전체를 촬영하며, 공간 해상도는 낮아집니다.

초분광, 다중분광 및 RGB 이미징 비교#

RGB 카메라는 넓은 밴드 세 개를 기록하고, 다중분광 이미징은 미리 선택한 소수의 넓은 밴드를 기록합니다. 예를 들어 ESA Sentinel-2 위성은 식생 지수 NDVI 등을 계산하기에 충분한 13개 밴드를 사용합니다. 초분광 센서는 스펙트럼을 연속적으로 샘플링합니다. 국제우주정거장의 NASA EMIT 영상 분광기는 381~2,493나노미터 사이의 밴드 285개를 약 7.5나노미터 간격으로 기록합니다. 이러한 세밀함에는 데이터 용량 증가, 밴드별 신호 대 잡음비 저하, 인접 밴드 간 높은 상관관계라는 대가가 따릅니다. 따라서 파이프라인은 학습 전에 주성분 분석이나 밴드 선택을 사용해 큐브를 압축하는 경우가 많으며, 이는 차원 축소의 한 형태입니다. 위성 이미지 분석에서는 두 종류의 이미지를 모두 사용하며, 센서 융합에서는 초분광 큐브를 LiDAR 고도 정보 또는 고해상도 RGB와 함께 사용하는 경우가 많습니다.

AI를 활용한 초분광 데이터 분석#

데이터 전처리의 일환으로 원시 센서 계수를 먼저 방사 보정으로 반사율로 변환하고, 항공 및 위성 데이터에는 대기 보정을 적용합니다. 기존 방법은 각 픽셀을 기준 스펙트럼과 비교합니다. 스펙트럼 각 매퍼는 밝기와 무관하게 두 스펙트럼 사이의 각도를 점수화하고, 선형 언믹싱은 혼합 픽셀에서 각 순수 물질 또는 엔드멤버가 차지하는 비율을 추정합니다. 딥러닝 모델은 1D 스펙트럼을 분류하고, 주성분에 2D 합성곱 신경망을 적용하거나, 공간-스펙트럼 패치에 3D 컨볼루션과 트랜스포머를 적용합니다. 레이블이 없으면 이상 탐지가 장면 배경과 스펙트럼이 다른 픽셀(예: 가스 기둥이나 위장된 물체)을 표시합니다.

초분광 형태의 시맨틱 세그멘테이션인 픽셀 분류는 소규모 항공 장면 데이터셋에서 벤치마크를 수행합니다. 예를 들어 AVIRIS가 인디애나주 북서부에서 촬영한 Indian Pines는 145×145픽셀, 밴드 224개(수분 흡수 밴드 제거 후 200개), 작물 및 토지 피복 클래스 16개로 구성됩니다. ROSIS 센서가 촬영한 Pavia University는 610×340픽셀, 밴드 103개, 클래스 9개로 구성됩니다. 한 장면에서 픽셀을 무작위로 나누면 서로 인접하고 거의 동일한 픽셀이 학습 및 테스트 세트에 모두 들어가는 데이터 누출이 발생해 정확도가 부풀려집니다. 따라서 신뢰할 수 있는 평가를 위해 공간적으로 분리된 영역을 홀드아웃합니다.

Ultralytics YOLO는 데이터셋 YAML의 channels 키에서 입력 채널 수를 읽고 다중 채널 TIFF 이미지를 불러옵니다. 따라서 YOLO26 객체 탐지 모델은 선택한 밴드 또는 주성분을 쌓아 만든 데이터로 학습할 수 있습니다. 10채널 COCO8-Multispectral 데이터셋이 그 예입니다.

실제 적용 사례#

• 정밀 농업: 수분 스트레스, 영양소 결핍, 질병은 잎 스펙트럼의 엽록소 및 수분 흡수 특징을 바꾸므로 드론과 항공기의 카메라가 밭 단위로 작물 건강 상태를 매핑합니다.
• 재활용 및 식품 분류: 컨베이어 벨트 위의 근적외선 라인 스캔 카메라는 흡수 스펙트럼으로 PET, 폴리에틸렌, 폴리프로필렌과 같은 고분자를 구별합니다. 식품 생산 라인에서도 같은 원리로 이물질과 멍든 부분을 찾습니다.
• 의료 영상 분석: 산소화 헤모글로빈과 탈산소화 헤모글로빈은 빛을 서로 다르게 흡수하므로, 초분광 카메라는 조영제 없이 조직의 산소 포화도와 관류를 매핑해 상처 평가와 수술에 활용할 수 있습니다.
• 지구 관측: EMIT는 사막 먼지 발생원의 광물을 매핑하기 위해 개발되었습니다. 같은 단파 적외선 측정으로 메탄의 흡수 특징도 분해할 수 있어 전 세계 매립지와 석유·가스 시설에서 발생하는 메탄 기둥을 장비가 찾아냈습니다.