Saliency Maps

Saliency maps là một công cụ trực quan mạnh mẽ được sử dụng trong explainable AI (XAI) để làm sáng tỏ các quy trình ra quyết định nội bộ của các neural networks phức tạp. Về cơ bản, chúng hoạt động như các bản đồ nhiệt, làm nổi bật các pixel hoặc vùng cụ thể của một hình ảnh đầu vào có ảnh hưởng mạnh nhất đến dự đoán của model. Bằng cách tiết lộ "nơi" một model đang tập trung, saliency maps giúp các nhà nghiên cứu và kỹ sư diễn giải hành vi của các convolutional neural networks (CNNs) sâu, đảm bảo rằng hệ thống đang học các đặc trưng đúng thay vì dựa vào các yếu tố giả tạo của tập dữ liệu hoặc nhiễu nền. Bạn có thể đọc thêm về nền tảng toán học của quy trình này trên trang saliency map của Wikipedia.

Link to this sectionCách thức hoạt động của Saliency Maps#

Phương pháp cơ bản để tạo ra một saliency map dựa nhiều vào backpropagation và gradients trên các lớp mạng. Thay vì sử dụng các gradient này để cập nhật trọng số model trong quá trình model training, thuật toán tính toán gradient của điểm số lớp dự đoán so với chính hình ảnh đầu vào. Như đã giải thích trong tài liệu autograd của PyTorch, việc lấy giá trị tuyệt đối lớn nhất của các gradient này trên các kênh màu sẽ tạo ra một bản đồ trong đó các giá trị cao tương ứng với các pixel làm thay đổi đáng kể điểm số đầu ra nếu bị sửa đổi. Các phương pháp hiện đại thậm chí mở rộng điều này sang AI tạo sinh, cho phép diffusion model saliency maps để theo dõi các gradient nhiễu.

Link to this sectionCác ứng dụng trong thực tế#

Vì chúng cung cấp xác thực trực quan trực tiếp về logic của model, saliency maps rất quan trọng trong các tình huống computer vision rủi ro cao:

• Chẩn đoán y tế: Trong AI in healthcare, việc xác nhận rằng một thuật toán phát hiện khối u dựa trên các bất thường về mô sinh lý thực sự—chứ không phải dựa trên watermark của máy quét—là rất quan trọng đối với sự an toàn của bệnh nhân. Saliency maps cung cấp bằng chứng trực quan này, như được trình bày chi tiết trong các nghiên cứu gần đây về tính nhất quán trong hình ảnh y tế XAI.
• Điều hướng tự hành: Đối với autonomous vehicles dự đoán góc lái hoặc nhận diện biển báo dừng, việc phân tích saliency maps giúp các kỹ sư gỡ lỗi các thất bại bằng cách xác minh xem model có tập trung đúng vào đường đi thay vì bị xao nhãng bởi phong cảnh không liên quan hay không.

Link to this sectionPhân biệt các thuật ngữ liên quan#

Rất khuyến khích phân biệt saliency maps với các khái niệm khác trong thuật ngữ AI để hiểu vai trò cụ thể của chúng trong deep learning (DL):

• Saliency Maps so với Class Activation Mapping (CAM): Trong khi các saliency maps cơ bản tính toán mức độ quan trọng ở cấp độ pixel thô, các kỹ thuật CAM như Grad-CAM phân tích mức độ quan trọng ở cấp độ feature maps bậc cao trong lớp tích chập cuối cùng của mạng. Các tiêu chuẩn mới hơn tiếp tục tinh chỉnh cách chúng ta đánh giá các giải thích trực quan và các CAM trên các tập dữ liệu.
• Saliency Maps so với Mechanistic Interpretability: Saliency mapping là một kỹ thuật hậu kiểm (post-hoc) chỉ đơn giản hiển thị nơi một model tập trung. Ngược lại, Mechanistic Interpretability đi sâu hơn để kỹ thuật đảo ngược cách thức và lý do các neuron hoặc mạch thuật toán cụ thể tính toán sự tập trung đó.
• Saliency Maps so với Explainable AI (XAI): XAI là bộ môn bao quát dành riêng cho việc làm cho AI trở nên minh bạch, trong khi saliency maps chỉ là một công cụ cụ thể trong bộ công cụ đó, thường được nhấn mạnh là một kỹ thuật giải thích quan trọng của Google Cloud. Lĩnh vực này đang phát triển nhanh chóng, chuyển từ các pixel thô sang phân loại hợp nhất với con người cho các giải thích ánh xạ dữ liệu khái niệm.

Link to this sectionTrích xuất Saliency thông qua Code#

Việc hiểu cách một neural network gán mức độ quan trọng có thể được thực hiện theo lập trình bằng cách sử dụng các framework deep learning như PyTorch. Đoạn mã sau minh họa toán học cơ bản đằng sau việc trích xuất một saliency map cơ bản (phân bổ dựa trên gradient) từ một model image classification đã được huấn luyện trước.

import torch
from torchvision.models import resnet18

# Load a pre-trained model in evaluation mode
model = resnet18(weights="DEFAULT").eval()

# Create a dummy image tensor and explicitly require gradients
input_image = torch.randn(1, 3, 224, 224, requires_grad=True)

# Forward pass: get predictions for the input image
output = model(input_image)

# Backward pass: compute gradients for the highest scoring class
output[0, output.argmax()].backward()

# Saliency map is the maximum absolute gradient across the 3 color channels
saliency_map, _ = torch.max(input_image.grad.data.abs(), dim=1)
print(f"Generated Saliency Map Shape: {saliency_map.shape}")

Đối với các quy trình làm việc cấp cao liên quan đến object detection hoặc vẽ bounding boxes, các công cụ như Ultralytics Platform giúp các nhà phát triển chú thích tập dữ liệu, giám sát thí nghiệm và trực quan hóa kết quả đầu ra từ các model như Ultralytics YOLO26 tiên tiến nhất một cách liền mạch. Bằng cách liên tục đánh giá các suy luận trực quan cùng với model deployment, các nhóm có thể xây dựng và mở rộng quy mô các hệ thống AI đáng tin cậy và minh bạch hơn nhiều.