Saliency Maps

Saliency maps are a powerful visual tool used in explainable AI (XAI) to shed light on the internal decision-making processes of complex neural networks. Essentially acting as heatmaps, they highlight the specific pixels or regions of an input image that most heavily influence a model's prediction. By revealing "where" a model is looking, saliency maps help researchers and engineers interpret the behavior of deep convolutional neural networks (CNNs), ensuring that the system is learning the correct features rather than relying on dataset artifacts or background noise. You can read more about the mathematical foundations of this process on the Wikipedia saliency map page.

Link to this sectionSaliency Maps Nasıl Çalışır#

Bir saliency map oluşturmaya yönelik temel yaklaşım, ağ katmanları genelindeki geriye yayılım ve gradyanlara dayanır. Algoritma, bu gradyanları model eğitimi sırasında model ağırlıklarını güncellemek için kullanmak yerine, tahmin edilen sınıf skorunun doğrudan giriş görüntüsüne göre gradyanını hesaplar. PyTorch autograd dokümantasyonunda açıklandığı gibi, bu gradyanların renk kanalları boyunca mutlak maksimumunu almak, değiştirildiklerinde çıktı skorunu önemli ölçüde değiştiren piksellere karşılık gelen yüksek değerlere sahip bir harita üretir. Modern yaklaşımlar bunu üretken yapay zekaya kadar genişleterek, gürültü gradyanlarını izlemek için difüzyon modeli saliency maps kullanımına olanak tanır.

Link to this sectionGerçek Dünya Uygulamaları#

Bir modelin mantığının doğrudan görsel doğrulamasını sağladıkları için saliency maps, yüksek riskli bilgisayarlı görü senaryolarında kritiktir:

• Tıbbi Teşhis: Sağlık hizmetlerinde yapay zekada, bir algoritmanın bir tümörü tarayıcının filigranı yerine gerçek fizyolojik doku anomalilerine dayanarak tespit ettiğini doğrulamak, hasta güvenliği için çok önemlidir. XAI tıbbi görüntülemede tutarlılık üzerine yapılan son çalışmalarda detaylandırıldığı gibi, saliency maps bu görsel kanıtı sağlar.
• Otonom Navigasyon: Direksiyon açılarını tahmin eden veya dur işaretlerini tanımlayan otonom araçlar için saliency maps analizi yapmak, modelin alakasız manzaralarla dikkatini dağıtmak yerine yola doğru bir şekilde odaklanıp odaklanmadığını doğrulayarak mühendislerin hataları ayıklamasına yardımcı olur.

Link to this sectionİlgili Terimlerin Ayrıştırılması#

Derin öğrenmedeki (DL) özel rollerini anlamak için saliency maps kavramını yapay zeka sözlüğündeki diğer kavramlardan ayırman şiddetle önerilir:

• Saliency Maps ve Class Activation Mapping (CAM): Temel saliency maps, önemi ham piksel düzeyinde hesaplarken, Grad-CAM gibi CAM teknikleri, önemi ağın son evrişimli katmanındaki üst düzey özellik haritaları düzeyinde analiz eder. Yeni kıyaslamalar, veri kümeleri genelinde görsel açıklamaları ve CAM'leri nasıl değerlendirdiğimizi geliştirmeye devam ediyor.
• Saliency Maps ve Mekanik Yorumlanabilirlik: Saliency mapping, yalnızca bir modelin nereye baktığını gösteren bir post-hoc (olay sonrası) tekniktir. Buna karşılık, Mekanik Yorumlanabilirlik, belirli nöronların veya algoritmik devrelerin bu odağı nasıl ve neden hesapladığını tersine mühendislikle anlamak için daha derinlemesine bir çalışma yürütür.
• Saliency Maps ve Açıklanabilir Yapay Zeka (XAI): XAI, yapay zekayı şeffaf hale getirmeye adanmış geniş kapsamlı bir disiplindir; saliency maps ise genellikle kritik bir Google Cloud açıklanabilirlik tekniği olarak vurgulanan bu araç setindeki özel bir araçtır. Alan, ham piksellerden kavramsal verileri eşleyen sağlam insan odaklı açıklama taksonomisine geçiş yaparak hızla gelişmektedir.

Link to this sectionKod Yoluyla Saliency Çıkarımı#

Understanding how a neural network attributes importance can be done programmatically using deep learning frameworks like PyTorch. The following snippet demonstrates the fundamental math behind extracting a basic saliency map (gradient-based attribution) from a pre-trained image classification model.

import torch
from torchvision.models import resnet18

# Load a pre-trained model in evaluation mode
model = resnet18(weights="DEFAULT").eval()

# Create a dummy image tensor and explicitly require gradients
input_image = torch.randn(1, 3, 224, 224, requires_grad=True)

# Forward pass: get predictions for the input image
output = model(input_image)

# Backward pass: compute gradients for the highest scoring class
output[0, output.argmax()].backward()

# Saliency map is the maximum absolute gradient across the 3 color channels
saliency_map, _ = torch.max(input_image.grad.data.abs(), dim=1)
print(f"Generated Saliency Map Shape: {saliency_map.shape}")

Nesne algılama veya sınırlayıcı kutular çizme gibi daha üst düzey iş akışları için Ultralytics Platform gibi araçlar, geliştiricilerin veri kümelerini sorunsuz bir şekilde etiketlemelerine, deneyleri izlemelerine ve en son teknoloji Ultralytics YOLO26 gibi modellerden gelen çıktıları görselleştirmelerine yardımcı olur. Ekipler, model dağıtımıyla birlikte görsel çıkarımları sürekli olarak değerlendirerek, çok daha güvenilir ve şeffaf yapay zeka sistemleri kurabilir ve ölçeklendirebilirler.