YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Identity Mapping

Özdeşlik eşlemesi, bir bloğun girdisini kısayol üzerinden değiştirmeden geçirip çıktıya ekler; böylece gradyanlar derin ağların ilk katmanlarına ulaşır.

Derin öğrenmede özdeşlik eşlemesi, bir bloğun girdisini değiştirmeden ileri taşıyıp bloğun çıktısına ekleyen bağlantıdır; böylece blok y = x + F(x) hesaplar, y = F(x) değil. Adı özdeşlik fonksiyonundan, f(x) = x, gelir. Kaiming He, Xiangyu Zhang, Shaoqing Ren ve Jian Sun, 2015'te bu özdeşlik kestirmeleri üzerine artık ağları (ResNet) kurdu ve aynı yıl ImageNet sınıflandırma yarışmasını 152 katmanlı bir ağla kazandı. Günümüzde özdeşlik kestirmeleri, evrişimli sinir ağlarından (CNN'ler) her Transformer modelinin artık akışına kadar neredeyse tüm derin mimarilerde kullanılıyor.

Özdeşlik Eşlemeleri Derinliği Neden Eğitilebilir Kılar#

ResNet'ten önce katman eklemek çoğu zaman ağları kötüleştiriyordu. He ve çalışma arkadaşları, 56 katmanlı düz bir ağın CIFAR-10'da 20 katmanlı bir ağdan daha yüksek eğitim hatasına sahip olduğunu buldu; dolayısıyla ek derinlik, bozulma adını verdikleri bir sorunla doğrudan optimizasyonu zorlaştırdı. Daha derin bir ağ, ek katmanlarını özdeşlik işlevi görecek şekilde ayarlayarak daha sığ bir ağın performansını her zaman yakalayabilir; ancak doğrusal olmayan katman yığınları özdeşliği öğrenmekte zorlanır. Artık blok yalnızca girdisinden farkı olan F(x) = H(x) - x'i öğrenmek zorundadır; F'yi sıfıra yaklaştırmak da özdeşliği geri kazandırır.

Kestirme bağlantı geri yayılımı da değiştirir. y = x + F(x) olduğundan y'nin x'e göre türevi, 1 ile F'nin türevinin toplamıdır ve bu sabit 1, gradyanı her bloktan doğrudan geriye taşır. Düz bir yığında gradyan, katman başına birçok çarpanın çarpımıdır; bu çarpanlar 1'den küçük olduğunda sonuç üstel olarak küçülür ve kaybolan gradyan sorunu ortaya çıkar. PyTorch ile aynı 50 katmanı, kestirme bağlantılar açık ve kapalı olarak çalıştırmak farkı gösterir:

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

Aynı ağırlıklardan oluşturulmuş düz yığının girişinde 1.1e-15, artık yığının girişinde ise 2.8e+00 gradyan normunu yazdırır. Kestirme bağlantılar olmasaydı bu ağın ilk katmanları neredeyse hiç eğitim sinyali alamazdı.

Kestirme Bağlantıyı Temiz Tutmak#

Aynı yazarlar 2016 tarihli Derin Artık Ağlarda Özdeşlik Eşlemeleri makalelerinde, x'i ölçekleyen, kapılayan, evriştiren veya bırakma düzenlileştirmesi uygulayan kestirme bağlantıları sınadı; bu varyantların tümü saf özdeşlikten daha kötü eğitildi. Ayrıca yığın normalleştirmeyi ve aktivasyon işlevini ağırlıklardan önce artık dalının içine taşıyarak bloklar arasındaki sinyale hiçbir şeyin dokunmamasını sağladılar. Bu ön etkinleştirme tasarımı, CIFAR-10'da %4,62 hataya sahip 1.001 katmanlı bir ResNet'i ve ImageNet'te 200 katmanlı bir ResNet'i eğitti. Modern Transformer modelleri de her dikkat ve ileri beslemeli dalın içine normalleştirme uygulayan ön norm bloklarıyla aynı kuralı izler; artık akışına dokunulmaz.

Özdeşlik kestirme bağlantısının çalışması için girdinin ve çıktının aynı şekle sahip olması gerekir. Bir blok kanal sayısını değiştirdiğinde veya alt örnekleme yaptığında ResNet, eşleşen adım uzunluğuna sahip genellikle 1 x 1 evrişiminden oluşan bir izdüşüm kestirme bağlantısı kullanır:

Ultralytics YOLO26, omurgası ve boyun ağı boyunca özdeşlik kestirme bağlantıları kullanır: her C3k2 bloğu, girdi ve çıktı kanalları eşleştiğinde x ile iki adet 3 x 3 evrişimin çıktısını toplayan dar boğazlardan oluşur; SPPF bloğu da girdisini havuzlanmış çıktısına aynı şekilde ekler.

Kimlik Başlatma#

Bir blok, özdeşlik eşlemesi olarak da başlayabilir. Her artık dalındaki son batch normalization katmanının ölçeğini sıfıra ayarlamak, başlatma sırasında F(x) = 0 olmasını sağlar; böylece derin bir ağ eğitime sığ bir ağmış gibi başlar. Priya Goyal ve çalışma arkadaşları bunu büyük batch'lerle ImageNet üzerinde ResNet-50'yi bir saatte eğitmek için kullandı; torchvision bu özelliği zero_init_residual=True olarak sunar. 2020'de önerilen ReZero, her artık dalını sıfırdan başlayan öğrenilebilir bir skalerle çarpar.

PyTorch'un nn.Identity modülü, parametresi olmayan gerçek bir özdeşlik eşlemesidir. Bir sınıflandırıcı başlığını model.fc = nn.Identity() örneğindeki gibi bununla değiştirmek, bir görüntü sınıflandırma ağını, sondan bir önceki gömme vektörlerini döndüren bir özellik çıkarımı modeline dönüştürür.

Atlama bağlantısı, katmanları atlayan her türlü yol için kullanılan daha genel terimdir. Artık bağlantı, bunun toplamsal türüdür; özdeşlik eşlemesi ise yolun hiçbir dönüşüm uygulamadığı bir artık bağlantıdır. U-Net ve DenseNet, önceki özellik haritalarını toplamak yerine birleştiren atlama bağlantıları kullanır. Kimlik koruma, üretken yapay zekâ ve takipte kullanılan, üretilen veya takip edilen kişinin görüntüler ya da video kareleri boyunca tanınabilir görünümünü koruması anlamına gelen ve bununla ilgisi olmayan bir terimdir.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla