Feature Maps

Feature map là đầu ra của một filter trong layer mạng neural tích chập (CNN): một lưới số 2D ghi lại mức độ xuất hiện của mẫu mà filter nhận biết tại từng vị trí trong đầu vào. Layer tích chập có 64 filter tạo ra 64 feature map, được xếp chồng thành tensor có hình dạng channels × height × width; tensor đó trở thành đầu vào của layer tiếp theo. Feature map ở các layer đầu làm nổi bật đường viền, màu sắc và kết cấu; map ở các layer sâu hơn phản hồi với bộ phận của vật thể và toàn bộ vật thể. Bản đồ kích hoạt là từ đồng nghĩa, và toàn bộ tensor xếp chồng của một layer cũng thường được gọi là feature map của layer đó.

Cách tính feature map#

Filter, còn gọi là kernel, là một lưới nhỏ chứa các trọng số của model đã học, thường có kích thước 3×3 cho mỗi kênh đầu vào. Phép tích chập trượt filter trên đầu vào; tại mỗi vị trí, filter nhân từng phần tử với giá trị tương ứng trong vùng chồng lấp rồi cộng các kết quả cùng bias để tạo ra một số đầu ra. Giá trị đầu ra cao đánh dấu vị trí đầu vào khớp với mẫu của filter. Chiều cao và chiều rộng đầu ra được tính từ kích thước đầu vào, kích thước kernel k, padding p và stride s theo công thức floor((input + 2p - k) / s) + 1, vì vậy kernel 3×3 với padding 1 giữ nguyên kích thước ở stride 1 và giảm một nửa ở stride 2.

Đoạn mã dưới đây áp dụng kernel phát hiện cạnh dọc lên một ảnh nhỏ tối ở bên trái và sáng ở bên phải.

import torch
import torch.nn.functional as F

# Ảnh xám 8x8: nửa trái tối, nửa phải sáng, tạo một cạnh dọc
image = torch.zeros(1, 1, 8, 8)
image[..., 4:] = 1.0

# Kernel Sobel 3x3 phản hồi với cạnh dọc
kernel = torch.tensor([[-1.0, 0.0, 1.0], [-2.0, 0.0, 2.0], [-1.0, 0.0, 1.0]]).view(1, 1, 3, 3)

# Trượt kernel trên ảnh để tạo feature map
feature_map = F.conv2d(image, kernel)

print(feature_map.shape)
print(feature_map[0, 0, 0])

Đoạn mã in ra torch.Size([1, 1, 6, 6]) và tensor([0., 0., 4., 4., 0., 0.]). Không có padding, ảnh 8×8 tạo ra map 6×6 (8 − 3 + 1 = 6); map chỉ có giá trị khác 0 ở hai cột mà kernel nằm vắt qua cạnh. CNN được huấn luyện học nhiều filter ở layer đầu hoạt động giống kernel Sobel này, cùng với các filter được tinh chỉnh để nhận biết màu sắc và kết cấu.

Feature map qua các layer của mạng#

Khi dữ liệu đi qua CNN, chiều cao và chiều rộng của feature map thường giảm, còn số kênh tăng. Mỗi bước giảm mẫu giảm một nửa độ phân giải; mỗi vị trí trong map sâu hơn tổng hợp một trường tiếp nhận lớn hơn của ảnh gốc. Detector giữ lại map ở nhiều độ sâu vì sự đánh đổi có lợi theo cả hai hướng: map stride-8 của ảnh 640×640 là lưới 80×80, đủ chi tiết để định vị vật thể nhỏ; map stride-32 là lưới 20×20, trong đó mỗi ô quan sát đủ vùng ảnh để nhận dạng vật thể lớn. Mạng kim tự tháp feature (FPN) hợp nhất map ở các độ sâu này để mọi tỷ lệ đều có vị trí chính xác và ngữ nghĩa cấp cao; backbone tạo ra các map là giai đoạn chính để trích xuất feature của model.

Feature map và các thuật ngữ liên quan#

• Filter: Filter chứa các trọng số đã học; feature map là kết quả áp dụng các trọng số đó lên một đầu vào. Mỗi filter tạo ra một feature map cho mỗi ảnh.
• Hàm activation: Hàm như ReLU được áp dụng theo từng phần tử lên feature map sau phép tích chập. Map tồn tại cả trước và sau bước này, lần lượt dưới dạng giá trị trước activation và sau activation.
• Embedding: Embedding thường là vector 1D được tạo bằng cách pooling hoặc làm phẳng feature map; quá trình này giữ lại nội dung ảnh nhưng loại bỏ vị trí. Embedding hỗ trợ tìm kiếm tương đồng và phân cụm; feature map không gian được dùng cho các tác vụ cần vị trí như phân đoạn ngữ nghĩa.
• Bản đồ độ nổi bật: Bản đồ độ nổi bật là một heatmap duy nhất giải thích một dự đoán, thường được tính từ các feature map và gradient của chúng.

Kiểm tra và trực quan hóa Feature Map#

Vẽ từng channel dưới dạng ảnh thang độ xám cho thấy mỗi bộ lọc phản hồi với yếu tố nào. Các map ở lớp đầu tiên trông như bản sao của ảnh đã được lọc cạnh, còn các map ở lớp sâu là những vùng thô trên các bộ phận của vật thể. Trong PyTorch, forward hook được đăng ký với register_forward_hook sẽ thu thập feature map của bất kỳ lớp nào trong quá trình suy luận. Các lớp sâu có hàng trăm channel, vì vậy công cụ AI có thể giải thích thường cô đọng chúng thành một heatmap. Grad-CAM gán trọng số cho từng channel của feature map ở lớp sâu bằng gradient trung bình của điểm số lớp, rồi tính tổng các channel để làm nổi bật những vùng ảnh góp phần tạo nên dự đoán. Trong model YOLO26 nano, ảnh 640×640 đi đến đầu phát hiện dưới dạng ba feature map có kích thước 64×80×80, 128×40×40 và 256×20×20; dự đoán bằng visualize=True sẽ lưu một lớp phủ LayerCAM _cam.jpg, gán trọng số cho mọi vị trí trong các map này theo gradient dương hướng đến từng lớp được dự đoán.