Hyperspectral Imaging

Hiperspektral görüntüleme (HSI), bir görüntüdeki her piksel için yansıyan veya yayılan ışığın tam spektrumunu, onlarca ila yüzlerce dar ve bitişik dalga boyu bandında örnekleyerek kaydeder. Bu dar bantlar; minerallerin, bitki pigmentlerinin, plastiklerin ve dokuların karakteristik dalga boylarında bıraktığı soğurma özelliklerini çözümler. Böylece bir pikselin spektrumu, yani spektral imzası, iki malzeme renkli kamerada aynı görünse bile yüzeyin neyden oluştuğunu belirler. Sonuç, iki uzamsal ekseni ve bir spektral ekseni olan üç boyutlu bir veri küpüdür. Bilgisayarlı görü ve makine öğrenimi modelleri bu küpü piksel spektrumlarını teker teker veya ortak uzamsal-spektral bir hacim olarak ele alarak işler. NASA'nın Jet Propulsion Laboratory'si, 1980'lerin sonlarından beri AVIRIS havadan görüntüleme spektrometresini kullanıyor; bu aygıt, 400 ila 2.500 nanometre arasında 224 bitişik bandı kaydediyor.

Hiperspektral Kamera Veri Küpünü Nasıl Oluşturur?#

Bir görüntüleme spektrometresi, gelen ışığı prizma, kırınım ızgarası veya filtre dizisiyle dalga boylarına ayırır ve iki boyutlu bir algılayıcıda kaydeder. Algılayıcı yalnızca iki boyutlu olduğundan küpün üçüncü ekseni taramayla oluşturulur:

• İtmeli tarama (çizgi tarama): Bir yarık sahnenin tek bir çizgisini geçirir; spektrometre bu çizginin ışığını dalga boylarına göre algılayıcı üzerine yayar. Uçak, uydu veya konveyör bandı hareket ettikçe küp satır satır oluşur.
• Süpürmeli tarama: Dönen bir ayna, klasik AVIRIS aygıtındaki gibi sahnenin üzerinde tek bir noktayı tarar.
• Spektral tarama: Ayarlanabilir bir filtre, her bant için sırayla tam bir görüntü yakalar; bu yöntem mikroskoplar ve diğer durağan sahneler için uygundur.
• Anlık görüntü: Algılayıcı üzerindeki filtre mozaiği, uzamsal çözünürlük pahasına tüm küpü tek bir pozlamada ve video hızında yakalar.

Hiperspektral, Multispektral ve RGB Görüntüleme#

RGB kamera üç geniş bant kaydeder; multispektral görüntüleme ise ESA'nın Sentinel-2 uydularındaki 13 bant gibi önceden seçilmiş birkaç geniş bandı kaydeder. Bu, NDVI gibi bitki örtüsü indisleri için yeterlidir. Hiperspektral algılayıcılar spektrumu bitişik biçimde örnekler: Uluslararası Uzay İstasyonu'ndaki NASA EMIT görüntüleme spektrometresi, yaklaşık 7,5 nanometre aralıklarla 381 ila 2.493 nanometre arasında 285 bant kaydeder. Bu ayrıntı, daha büyük veri hacmi, bant başına daha düşük sinyal-gürültü oranı ve komşu bantlar arasında güçlü korelasyon anlamına gelir. Bu nedenle işlem hatları, eğitimden önce küpü genellikle temel bileşen analizini veya bant seçimini, yani bir tür boyut indirgemeyi kullanarak sıkıştırır. Uydu görüntüsü analizi her iki görüntü türünü de kullanır; algılayıcı füzyonu ise hiperspektral bir küpü genellikle LiDAR yükseklik verileriyle veya yüksek çözünürlüklü RGB ile birleştirir.

Hiperspektral Verileri Yapay Zekâyla Analiz Etme#

Ham algılayıcı sayımları, veri ön işlemenin bir parçası olarak önce radyometrik kalibrasyonla, havadan ve uydudan alınan verilerde ise atmosfer düzeltmesiyle yansıtıma dönüştürülür. Klasik yöntemler daha sonra her pikseli referans spektrumlarla karşılaştırır: spektral açı haritalayıcı, parlaklıktan bağımsız biçimde iki spektrum arasındaki açıyı puanlar; doğrusal karışım çözümlemesi ise saf malzemelerin, yani uç bileşenlerin, karışık bir piksele hangi oranda katkı yaptığını tahmin eder. Derin öğrenme modelleri 1B spektrumları sınıflandırır, temel bileşenler üzerinde 2B evrişimli sinir ağları çalıştırır veya uzamsal-spektral yamalara 3B evrişimler ve dönüştürücüler uygular. Etiket olmadığında anomali tespiti, gaz bulutu veya kamufle edilmiş nesne gibi spektrumları sahnenin arka planından farklı olan pikselleri işaretler.

Hiperspektral anlamsal bölümlemenin biçimi olan piksel sınıflandırması, küçük havadan çekilmiş sahneler üzerinde kıyaslanır. Bunlar arasında AVIRIS'in Indiana'nın kuzeybatısı üzerinde çektiği, 145×145 piksel ve 224 banttan oluşan Indian Pines (su soğurma bantları çıkarıldıktan sonra 200 bant ve 16 ürün ve arazi örtüsü sınıfı) ile ROSIS algılayıcısının çektiği, 610×340 piksel, 103 bant ve 9 sınıftan oluşan Pavia University bulunur. Tek bir sahneden yapılan rastgele piksel bölmeleri, birbirine yakın ve neredeyse aynı pikselleri hem eğitim hem test kümelerine yerleştirir. Bu tür bir veri sızıntısı doğruluğu şişirir; bu nedenle güvenilir değerlendirmelerde uzamsal olarak birbirinden ayrılmış bölgeler test için ayrılır.

Ultralytics YOLO, giriş kanalı sayısını bir veri kümesi YAML dosyasının channels anahtarından okur ve çok kanallı TIFF görüntülerini yükler. Böylece YOLO26 nesne tespiti modeli, seçilmiş bantların veya temel bileşenlerin yığını üzerinde eğitilebilir; 10 kanallı COCO8-Multispectral veri kümesi bunu gösterir.

Gerçek Dünya Uygulamaları#

• Hassas tarım: Su stresi, besin eksikliği ve hastalık, yaprak spektrumlarındaki klorofil ve su soğurma özelliklerini değiştirir; bu nedenle drone ve uçaklardaki kameralar tarlaların sağlığını haritalar.
• Geri dönüşüm ve gıda ayıklama: Konveyör bantlarının üzerindeki yakın kızılötesi çizgi taramalı kameralar, PET, polietilen ve polipropilen gibi polimerleri soğurma spektrumlarından ayırt eder. Gıda üretim hatları da yabancı maddeleri ve ezilmeleri bulmak için aynı ilkeden yararlanır.
• Tıbbi görüntü analizi: Oksijenlenmiş ve oksijeni giderilmiş hemoglobin ışığı farklı biçimlerde soğurur. Bu nedenle hiperspektral kameralar, kontrast madde kullanmadan yara değerlendirmesi ve cerrahi için doku oksijen doygunluğunu ve kanlanmayı haritalar.
• Dünya gözlemi: EMIT, çöl tozu kaynaklarındaki mineralleri haritalamak için geliştirilmiştir. Aynı kısa dalga kızılötesi ölçümleri metanın soğurma özelliklerini de çözümler; bu sayede aygıt, dünyanın dört bir yanındaki çöplüklerden ve petrol ve gaz tesislerinden kaynaklanan metan bulutlarını belirleyebilmiştir.