Hyperspectral Imaging
Chụp ảnh siêu phổ ghi lại phổ phản xạ cho từng pixel trên hàng trăm dải hẹp, giúp nhận diện các vật liệu trông giống nhau trong ảnh RGB.
Ảnh siêu phổ (HSI) ghi lại toàn bộ phổ ánh sáng phản xạ hoặc phát ra tại mỗi pixel của ảnh, được lấy mẫu qua hàng chục đến hàng trăm dải bước sóng hẹp liền kề. Các dải hẹp này phân giải những đặc trưng hấp thụ của khoáng vật, sắc tố thực vật, nhựa và mô tại các bước sóng đặc trưng, nên phổ của một pixel, hay dấu hiệu phổ, xác định thành phần vật liệu của bề mặt ngay cả khi hai vật liệu trông giống hệt nhau trên camera màu. Kết quả là một khối dữ liệu ba chiều gồm hai trục không gian và một trục phổ; các model thị giác máy tính và machine learning xử lý khối này theo từng phổ pixel hoặc dưới dạng thể tích không gian-phổ kết hợp. Phòng thí nghiệm Sức đẩy Phản lực của NASA đã vận hành quang phổ kế hàng không AVIRIS từ cuối thập niên 1980, ghi lại 224 dải liền kề trong khoảng 400 đến 2.500 nanometer.
Camera siêu phổ tạo khối dữ liệu như thế nào#
Quang phổ kế ảnh phân tách ánh sáng đi vào theo bước sóng bằng lăng kính, lưới nhiễu xạ hoặc một bộ lọc, rồi ghi lại trên bộ dò hai chiều. Vì bộ dò chỉ có hai chiều, trục thứ ba của khối dữ liệu được tạo bằng cách quét:
- Pushbroom (quét dòng): Một khe hẹp tiếp nhận một dòng của cảnh, quang phổ kế tách ánh sáng của dòng đó theo bước sóng trên bộ dò, rồi khối dữ liệu được tạo dần từng dòng khi máy bay, vệ tinh hoặc băng chuyền di chuyển.
- Whiskbroom: Gương quay quét một điểm duy nhất qua cảnh, như trong thiết bị AVIRIS cổ điển.
- Quét phổ: Bộ lọc điều chỉnh được chụp lần lượt một ảnh hoàn chỉnh cho mỗi dải, phù hợp với kính hiển vi và các cảnh tĩnh khác.
- Snapshot: Mảng bộ lọc trên cảm biến ghi lại toàn bộ khối dữ liệu trong một lần phơi sáng với tốc độ video, đổi lại độ phân giải không gian thấp hơn.
Ảnh siêu phổ, đa phổ và RGB#
Camera RGB ghi lại ba dải rộng; ảnh đa phổ ghi lại một số ít dải rộng được chọn trước, chẳng hạn 13 dải của vệ tinh Sentinel-2 thuộc ESA, đủ để tính các chỉ số thực vật như NDVI. Cảm biến siêu phổ lấy mẫu liên tục trên phổ: quang phổ kế ảnh EMIT của NASA trên Trạm Vũ trụ Quốc tế ghi lại 285 dải trong khoảng 381 đến 2.493 nanometer, cách nhau khoảng 7,5 nanometer. Mức độ chi tiết này làm tăng dung lượng dữ liệu, giảm tỷ lệ tín hiệu trên nhiễu ở mỗi dải và tạo tương quan mạnh giữa các dải liền kề; vì vậy, pipeline thường nén khối dữ liệu bằng phân tích thành phần chính hoặc chọn dải trước khi huấn luyện, một hình thức giảm chiều. Phân tích ảnh vệ tinh sử dụng cả hai loại ảnh, còn hợp nhất cảm biến thường kết hợp khối siêu phổ với độ cao LiDAR hoặc ảnh RGB độ phân giải cao.
Phân tích dữ liệu siêu phổ bằng AI#
Số đếm thô của cảm biến trước tiên được chuyển thành độ phản xạ bằng hiệu chuẩn bức xạ; với dữ liệu hàng không và vệ tinh, bước này còn gồm hiệu chỉnh khí quyển như một phần của tiền xử lý dữ liệu. Các phương pháp cổ điển sau đó so sánh từng pixel với phổ tham chiếu: bộ ánh xạ góc phổ tính góc giữa hai phổ mà không phụ thuộc độ sáng, còn giải trộn tuyến tính ước tính tỷ lệ đóng góp của từng vật liệu tinh khiết, hay endmember, vào một pixel hỗn hợp. Các model deep learning phân loại phổ 1D, chạy mạng nơ-ron tích chập 2D trên các thành phần chính, hoặc áp dụng tích chập 3D và transformer lên các patch không gian-phổ. Khi không có nhãn, phát hiện bất thường đánh dấu các pixel có phổ khác với nền của cảnh, chẳng hạn luồng khí hoặc vật thể ngụy trang.
Phân loại pixel, dạng phân đoạn ngữ nghĩa trong ảnh siêu phổ, được đánh giá trên các cảnh hàng không nhỏ như Indian Pines, được AVIRIS chụp ở tây bắc Indiana với 145×145 pixel và 224 dải (còn 200 dải sau khi loại bỏ các dải hấp thụ nước), gồm 16 lớp cây trồng và lớp phủ đất; cùng Pavia University, được cảm biến ROSIS chụp ở 610×340 pixel với 103 dải và 9 lớp. Chia ngẫu nhiên pixel trong một cảnh duy nhất sẽ đưa các pixel lân cận gần như giống hệt nhau vào cả tập huấn luyện lẫn tập kiểm thử, gây rò rỉ dữ liệu và thổi phồng độ chính xác; vì vậy, đánh giá đáng tin cậy cần giữ lại các vùng không gian riêng biệt.
Ultralytics YOLO đọc số kênh đầu vào từ khóa channels trong dataset YAML và tải ảnh TIFF nhiều kênh, vì vậy model phát hiện đối tượng YOLO26 có thể huấn luyện trên chồng các dải được chọn hoặc các thành phần chính, như minh họa trong bộ dữ liệu 10 kênh COCO8-Multispectral.
Ứng dụng thực tế#
- Nông nghiệp chính xác: Căng thẳng do thiếu nước, thiếu dinh dưỡng và bệnh tật làm thay đổi các đặc trưng hấp thụ chlorophyll và nước trong phổ lá, nhờ đó camera trên drone và máy bay lập bản đồ sức khỏe cây trồng theo từng cánh đồng.
- Tái chế và phân loại thực phẩm: Camera quét dòng hồng ngoại gần đặt phía trên băng chuyền phân biệt các polymer như PET, polyethylene và polypropylene dựa trên phổ hấp thụ; dây chuyền thực phẩm cũng dùng nguyên lý này để phát hiện vật thể lạ và vết dập.
- Phân tích ảnh y khoa: Hemoglobin có oxy và hemoglobin khử oxy hấp thụ ánh sáng khác nhau, vì vậy camera siêu phổ lập bản đồ độ bão hòa oxy và tưới máu mô để đánh giá vết thương và hỗ trợ phẫu thuật mà không cần chất tương phản.
- Quan sát Trái Đất: EMIT được xây dựng để lập bản đồ khoáng vật trong các nguồn bụi sa mạc; các phép đo hồng ngoại sóng ngắn tương tự cũng phân giải đặc trưng hấp thụ của methane, giúp thiết bị xác định các luồng methane từ bãi chôn lấp và cơ sở dầu khí trên khắp thế giới.
