Deformable Attention

Deforme edilebilir dikkat, bilgisayarlı görü için bir dikkat mekanizmasıdır. Her sorgu, özellik haritasının her konumuna değil, bir referans konumunun çevresindeki az sayıda ve sabit sayıdaki örnekleme noktasına dikkat eder. Sorgunun kendisi, bu noktaların referansa göre uzaklıklarını ve her noktanın önemini tahmin eder; dolayısıyla maliyet görüntü çözünürlüğüne değil, sorgu ve nokta sayısına göre artar. SenseTime, Çin Bilim ve Teknoloji Üniversitesi ve Hong Kong Çin Üniversitesi'nden Xizhou Zhu, Jifeng Dai ve çalışma arkadaşları, bu yöntemi ICLR 2021'de sözlü sunulan bir makale olan Deformable DETR ile tanıttı. Bu yöntem, özgün DETR algılama dönüştürücüsünün iki zayıf yönünü giderdi: tam dikkat, onu düşük çözünürlüklü özelliklerle sınırlıyordu ve eğitim 500 epoch sürüyordu. Deformable DETR 10 kat daha az epoch gerektirdi ve küçük nesneleri daha iyi algıladı.

Deforme Edilebilir Dikkat Nasıl Çalışır#

Fikir, Dai'nin ortak geliştirdiği ve bir evrişim çekirdeğinin temas noktaları için uzaklıkları öğrenen deforme edilebilir evrişim yöntemini genişletir. Referans noktası olan her sorgu için her dikkat başlığı, sorgu özelliklerine iki doğrusal katman uygular: Biri K örnekleme uzaklığını, diğeri ise softmax ile normalize edilen K dikkat ağırlığını tahmin eder. Uzaklıklar kesirli olduğundan, kaydırılan her noktadaki değer özellikleri çift doğrusal enterpolasyonla okunur ve başlık bu değerlerin ağırlıklı toplamını döndürür. Makalede 8 başlık ve K = 4 nokta kullanılır; böylece bir sorgu, standart öz dikkatin her pikseli puanlayacağı yerde her özellik haritasından 32 konum okur. Tek başlıklı, tek ölçekli bir sürüm birkaç satır PyTorch koduna sığar:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
dim, n_points, n_queries = 32, 4, 100
value = torch.randn(1, dim, 64, 64)  # a 64x64 feature map: 4,096 positions
query = torch.randn(n_queries, dim)
ref = torch.rand(n_queries, 2) * 2 - 1  # reference points in grid_sample's [-1, 1] coordinates

# Each query predicts where to look (offsets) and how much each sample counts (weights)
to_offsets, to_weights = torch.nn.Linear(dim, n_points * 2), torch.nn.Linear(dim, n_points)
offsets = 0.1 * to_offsets(query).view(n_queries, n_points, 2)
weights = to_weights(query).softmax(dim=-1)

# Bilinearly sample the value map at reference + offset, then take the weighted sum
grid = (ref[:, None] + offsets)[None]  # (1, n_queries, n_points, 2)
sampled = F.grid_sample(value, grid, align_corners=False)[0]  # (dim, n_queries, n_points)
out = (sampled * weights).sum(dim=-1).T  # (n_queries, dim)
print(f"Output {tuple(out.shape)} from {n_queries * n_points} samples, not {n_queries * 64 * 64:,} dense scores")

Output (100, 32) from 400 samples, not 409,600 dense scores değerini yazdırır: 100 sorgunun her biri 4.096 konumdan 4'ünü okur. Eğitim, uzaklık ve ağırlık katmanlarını ayarlar; böylece noktalar, görev için yararlı görüntü bölümlerine doğru hareket eder.

Çok Ölçekli Deforme Edilebilir Dikkat#

Nesneler çok farklı boyutlarda göründüğünden Deformable DETR, aynı anda birden fazla özellik haritasında noktalar örnekler. L düzeyi varsa her başlık her düzeyde K nokta alır ve ağırlıkları toplam L × K nokta üzerinden birlikte normalize eder. Böylece ince ve kaba özellikleri tek adımda harmanlayarak kodlayıcısında özellik piramidi ağının (FPN) yerini alır. Kodlayıcı bunu, her düzeydeki her piksel sorgu olacak şekilde öz dikkat olarak uygular; kod çözücü ise nesne sorgularından görüntü özelliklerine doğru çapraz dikkat olarak uygular.

Ultralytics paketinde bulunan Baidu'nun gerçek zamanlı algılama dönüştürücüsü RT-DETR, altı kod çözücü katmanında çapraz dikkat olarak çok ölçekli deforme edilebilir dikkati kullanır: 300 nesne sorgusunun her biri, adım boyutları 8, 16 ve 32 olan özellik haritalarında 8 başlıkla başlık başına 4 nokta, yani toplam 96 konum örnekler. Oysa 640 piksel boyutundaki bir görüntünün bu haritaları üzerinde tam çapraz dikkat 8.400 konumu puanlardı.

Uygulamalar#

• Nesne algılama: DINO ve RT-DETR dahil Deformable DETR'nin ardılları, kod çözücülerinde deforme edilebilir çapraz dikkati korur; bu sayede küçük nesneler için yüksek çözünürlüklü özellikleri okuyabilirler.
• Otonom araçlar: BEVFormer, birkaç araç kamerasından gelen görüntüleri kuş bakışı görünüm ızgarasına dönüştürür; her ızgara hücresi, kendisini gören kamera görüntülerindeki deforme edilebilir noktaları örnekler.
• Panoptik segmentasyon: Mask2Former, maskeleri tahmin etmeden önce çok ölçekli piksel özelliklerini deforme edilebilir dikkatle oluşturur.

Deforme Edilebilir Dikkat ve İlgili Kavramlar#

• Kayan pencere dikkati: Her girdi için aynı olan, konumla belirlenen sabit bir komşu kümesine dikkat eder.
• Seyrek dikkat: Önceden seçilen sabit bir token çifti alt kümesini puanlar.
• Flash attention: Standart dikkatle aynı sonucu verir; olağan yoğun dikkati yonga üstü GPU belleğinde döşemelere bölerek daha hızlı hesaplar.
• Görü dönüştürücüsü (ViT) dikkati: Her görüntü yamasını diğer tüm yamalarla karşılaştırır; bu nedenle maliyeti yama sayısının karesiyle artar.