Feature Maps

Özellik haritası, bir evrişimli sinir ağı (CNN) katmanındaki tek bir filtrenin çıktısıdır: Filtrenin örüntüsünün girdi konumlarının her birinde ne kadar güçlü bulunduğunu kaydeden 2B sayı ızgarasıdır. 64 filtreli bir evrişim katmanı, kanal × yükseklik × genişlik biçiminde bir tensörde üst üste yığılmış 64 özellik haritası üretir; bu tensör sonraki katmanın girdisi olur. Erken katmanlardaki özellik haritaları kenarları, renkleri ve dokuları vurgularken daha derin katmanlardakiler nesne parçalarına ve bütün nesnelere tepki verir. Etkinleştirme haritası eş anlamlıdır; bir katmanın üst üste yığılmış tüm tensörüne de sıklıkla özellik haritası denir.

Özellik Haritası Nasıl Hesaplanır#

Çekirdek olarak da adlandırılan filtre, genellikle her girdi kanalı için 3×3 boyutunda, öğrenilmiş model ağırlıklarından oluşan küçük bir ızgaradır. Evrişim bu ızgarayı girdi üzerinde kaydırır ve her konumda örtüşen değerleri eleman bazında çarpıp bir önyargı değeriyle birlikte toplayarak tek bir çıktı sayısı üretir. Yüksek çıktılar, girdinin filtre örüntüsüyle eşleştiği yerleri işaretler. Çıktının yüksekliği ve genişliği; girdi boyutuna, çekirdek boyutuna k, dolguya p ve adım boyutuna s bağlı olarak floor((input + 2p - k) / s) + 1 şeklinde belirlenir. Bu nedenle 3×3 çekirdek ve 1 dolgu, adım boyutu 1'de boyutu korurken adım boyutu 2'de boyutu yarıya indirir.

Aşağıdaki kod parçası, solu karanlık ve sağı parlak olan küçük bir görüntüye dikey kenar çekirdeği uygular.

import torch
import torch.nn.functional as F

# 8x8 gri tonlamalı görüntü: sol yarısı karanlık, sağ yarısı parlak; tek bir dikey kenar
image = torch.zeros(1, 1, 8, 8)
image[..., 4:] = 1.0

# Dikey kenarlara tepki veren 3x3 Sobel çekirdeği
kernel = torch.tensor([[-1.0, 0.0, 1.0], [-2.0, 0.0, 2.0], [-1.0, 0.0, 1.0]]).view(1, 1, 3, 3)

# Özellik haritası üretmek için çekirdeği görüntü üzerinde kaydır
feature_map = F.conv2d(image, kernel)

print(feature_map.shape)
print(feature_map[0, 0, 0])

torch.Size([1, 1, 6, 6]) ve tensor([0., 0., 4., 4., 0., 0.]) çıktısını verir. Dolgu kullanılmadığında 8×8 görüntü 6×6 harita üretir (8 − 3 + 1 = 6) ve harita yalnızca çekirdeğin kenarı aştığı iki sütunda sıfırdan farklıdır. Eğitilmiş CNN'ler, Sobel çekirdeği gibi davranan çok sayıda ilk katman filtresini, renk ve dokulara göre ayarlanmış filtrelerle birlikte öğrenir.

Bir Ağdaki Özellik Haritaları#

Veriler bir CNN'den geçerken özellik haritaları genellikle yükseklik ve genişlik bakımından küçülür, kanal sayısı bakımından büyür. Her alt örnekleme adımında çözünürlük yarıya iner ve daha derin bir haritadaki her konum, özgün görüntünün daha geniş bir alıcı alanını özetler. Tespit modelleri, dengenin iki yönlü olması nedeniyle birkaç derinlikteki haritaları korur: 640×640 görüntünün adım boyutu 8 olan haritası, küçük nesneleri bulmaya yetecek incelikte 80×80 bir ızgaradır; adım boyutu 32 olan harita ise hücrelerinin her biri büyük nesneleri tanımaya yetecek kadar görüntüyü gören 20×20 bir ızgaradır. Bir özellik piramidi ağı (FPN), her ölçeğin hem hassas konum bilgisini hem de üst düzey anlamı edinmesi için bu derinliklerdeki haritaları birleştirir. Bu haritaları üreten omurga, modelin başlıca özellik çıkarımı aşamasıdır.

Özellik Haritaları ve İlgili Terimler#

• Filtre: Filtre öğrenilmiş ağırlıkları içerir; özellik haritası ise bunların tek bir girdiye uygulanmasıyla elde edilen sonuçtur. Her görüntü için tek bir filtre, tek bir özellik haritası üretir.
• Etkinleştirme fonksiyonu: Evrişimden sonra özellik haritasına eleman bazında uygulanan ReLU gibi bir fonksiyondur. Harita hem öncesinde hem sonrasında; ön etkinleştirme ve son etkinleştirme değerleri olarak bulunur.
• Gömüler: Gömü, genellikle bir özellik haritasını havuzlayarak veya düzleştirerek oluşturulan 1B vektördür; görüntünün ne içerdiğini korur, ancak konum bilgisini atar. Gömüler benzerlik araması ve kümelemeyi destekler; uzamsal özellik haritaları ise anlamsal bölümleme gibi konum gerektiren görevlerde kullanılır.
• Belirginlik haritaları: Belirginlik haritası, genellikle özellik haritaları ve bunların gradyanlarından hesaplanan, tek bir tahmini açıklayan tek bir ısı haritasıdır.

Özellik Haritalarını İnceleme ve Görselleştirme#

Tek tek kanalları gri tonlamalı görüntüler olarak çizmek, her filtrenin neye tepki verdiğini gösterir. İlk katman haritaları fotoğrafın kenarları belirginleştirilmiş kopyalarına benzerken, derin katman haritaları nesne parçalarının üzerinde kaba lekeler oluşturur. PyTorch içinde register_forward_hook ile kaydedilen bir ileri geçiş kancası, çıkarım sırasında herhangi bir katmanın özellik haritalarını yakalar. Derin katmanlarda yüzlerce kanal bulunur; bu nedenle açıklanabilir yapay zekâ araçları bunları genellikle tek bir ısı haritasında toplar. Grad-CAM, geç bir özellik haritasının her kanalını bir sınıf puanının ortalama gradyanına göre ağırlıklandırıp kanalları toplar; böylece tahmini belirleyen görüntü bölgelerini vurgular. Nano YOLO26 modelinde, 640×640 boyutundaki bir görüntü tespit başlığına 64×80×80, 128×40×40 ve 256×20×20 boyutlarında üç özellik haritası olarak ulaşır ve visualize=True ile tahmin her haritanın tüm konumlarını tahmin edilen her sınıfa yönelik pozitif gradyanıyla ağırlıklandıran bir _cam.jpg LayerCAM bindirmesi kaydeder.