Identity Mapping
Özdeşlik eşlemesi, bir bloğun girdisini kısayol üzerinden değiştirmeden geçirip çıktıya ekler; böylece gradyanlar derin ağların ilk katmanlarına ulaşır.
Derin öğrenmede özdeşlik eşlemesi, bir bloğun girdisini değiştirmeden ileri taşıyıp bloğun çıktısına ekleyen bağlantıdır; böylece blok y = x + F(x) hesaplar, y = F(x) değil. Adı özdeşlik fonksiyonundan, f(x) = x, gelir. Kaiming He, Xiangyu Zhang, Shaoqing Ren ve Jian Sun, 2015'te bu özdeşlik kestirmeleri üzerine artık ağları (ResNet) kurdu ve aynı yıl ImageNet sınıflandırma yarışmasını 152 katmanlı bir ağla kazandı. Günümüzde özdeşlik kestirmeleri, evrişimli sinir ağlarından (CNN'ler) her Transformer modelinin artık akışına kadar neredeyse tüm derin mimarilerde kullanılıyor.
Özdeşlik Eşlemeleri Derinliği Neden Eğitilebilir Kılar#
ResNet'ten önce katman eklemek çoğu zaman ağları kötüleştiriyordu. He ve çalışma arkadaşları, 56 katmanlı düz bir ağın CIFAR-10'da 20 katmanlı bir ağdan daha yüksek eğitim hatasına sahip olduğunu buldu; dolayısıyla ek derinlik, bozulma adını verdikleri bir sorunla doğrudan optimizasyonu zorlaştırdı. Daha derin bir ağ, ek katmanlarını özdeşlik işlevi görecek şekilde ayarlayarak daha sığ bir ağın performansını her zaman yakalayabilir; ancak doğrusal olmayan katman yığınları özdeşliği öğrenmekte zorlanır. Artık blok yalnızca girdisinden farkı olan F(x) = H(x) - x'i öğrenmek zorundadır; F'yi sıfıra yaklaştırmak da özdeşliği geri kazandırır.
Kestirme bağlantı geri yayılımı da değiştirir. y = x + F(x) olduğundan y'nin x'e göre türevi, 1 ile F'nin türevinin toplamıdır ve bu sabit 1, gradyanı her bloktan doğrudan geriye taşır. Düz bir yığında gradyan, katman başına birçok çarpanın çarpımıdır; bu çarpanlar 1'den küçük olduğunda sonuç üstel olarak küçülür ve kaybolan gradyan sorunu ortaya çıkar. PyTorch ile aynı 50 katmanı, kestirme bağlantılar açık ve kapalı olarak çalıştırmak farkı gösterir:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")Aynı ağırlıklardan oluşturulmuş düz yığının girişinde 1.1e-15, artık yığının girişinde ise 2.8e+00 gradyan normunu yazdırır. Kestirme bağlantılar olmasaydı bu ağın ilk katmanları neredeyse hiç eğitim sinyali alamazdı.
Kestirme Bağlantıyı Temiz Tutmak#
Aynı yazarlar 2016 tarihli Derin Artık Ağlarda Özdeşlik Eşlemeleri makalelerinde, x'i ölçekleyen, kapılayan, evriştiren veya bırakma düzenlileştirmesi uygulayan kestirme bağlantıları sınadı; bu varyantların tümü saf özdeşlikten daha kötü eğitildi. Ayrıca yığın normalleştirmeyi ve aktivasyon işlevini ağırlıklardan önce artık dalının içine taşıyarak bloklar arasındaki sinyale hiçbir şeyin dokunmamasını sağladılar. Bu ön etkinleştirme tasarımı, CIFAR-10'da %4,62 hataya sahip 1.001 katmanlı bir ResNet'i ve ImageNet'te 200 katmanlı bir ResNet'i eğitti. Modern Transformer modelleri de her dikkat ve ileri beslemeli dalın içine normalleştirme uygulayan ön norm bloklarıyla aynı kuralı izler; artık akışına dokunulmaz.
Özdeşlik kestirme bağlantısının çalışması için girdinin ve çıktının aynı şekle sahip olması gerekir. Bir blok kanal sayısını değiştirdiğinde veya alt örnekleme yaptığında ResNet, eşleşen adım uzunluğuna sahip genellikle 1 x 1 evrişiminden oluşan bir izdüşüm kestirme bağlantısı kullanır:
Ultralytics YOLO26, omurgası ve boyun ağı boyunca özdeşlik kestirme bağlantıları kullanır: her C3k2 bloğu, girdi ve çıktı kanalları eşleştiğinde x ile iki adet 3 x 3 evrişimin çıktısını toplayan dar boğazlardan oluşur; SPPF bloğu da girdisini havuzlanmış çıktısına aynı şekilde ekler.
Kimlik Başlatma#
Bir blok, özdeşlik eşlemesi olarak da başlayabilir. Her artık dalındaki son batch normalization katmanının ölçeğini sıfıra ayarlamak, başlatma sırasında F(x) = 0 olmasını sağlar; böylece derin bir ağ eğitime sığ bir ağmış gibi başlar. Priya Goyal ve çalışma arkadaşları bunu büyük batch'lerle ImageNet üzerinde ResNet-50'yi bir saatte eğitmek için kullandı; torchvision bu özelliği zero_init_residual=True olarak sunar. 2020'de önerilen ReZero, her artık dalını sıfırdan başlayan öğrenilebilir bir skalerle çarpar.
PyTorch'un nn.Identity modülü, parametresi olmayan gerçek bir özdeşlik eşlemesidir. Bir sınıflandırıcı başlığını model.fc = nn.Identity() örneğindeki gibi bununla değiştirmek, bir görüntü sınıflandırma ağını, sondan bir önceki gömme vektörlerini döndüren bir özellik çıkarımı modeline dönüştürür.
İlgili Terimler#
Atlama bağlantısı, katmanları atlayan her türlü yol için kullanılan daha genel terimdir. Artık bağlantı, bunun toplamsal türüdür; özdeşlik eşlemesi ise yolun hiçbir dönüşüm uygulamadığı bir artık bağlantıdır. U-Net ve DenseNet, önceki özellik haritalarını toplamak yerine birleştiren atlama bağlantıları kullanır. Kimlik koruma, üretken yapay zekâ ve takipte kullanılan, üretilen veya takip edilen kişinin görüntüler ya da video kareleri boyunca tanınabilir görünümünü koruması anlamına gelen ve bununla ilgisi olmayan bir terimdir.










