Vision Mamba
Vision Mamba, Mamba'nın seçici durum uzayı taramasını görüntü parçacıklarına uygulayarak doğrusal zamanda genel bağlamı harmanlar. Vim, VMamba, ödünleşimleri ve kodu ele alır.
Vision Mamba, bilgisayarlı görü alanındaki omurga ağları ailesidir ve öz dikkat katmanlarından Görsel Transformer (ViT) mimarisinde yer alanları, başlangıçta dil ve diğer uzun diziler için geliştirilmiş seçici bir durum uzayı modeli (SSM) olan Mamba ile değiştirir. Bu ad, hem bu model sınıfını hem de Lianghui Zhu ve çalışma arkadaşlarının Ocak 2024'te tanıttığı ve ICML 2024'te yayımlanan aynı adlı Vim modelini ifade eder. Bir ViT gibi, Vision Mamba modeli görüntüyü yamalara böler ve bunları bir belirteç dizisi olarak ele alır. Model, bu dizi boyunca bilgiyi, maliyeti belirteç sayısıyla doğrusal olarak artan yinelemeli bir taramayla birleştirir; öz dikkat ise her belirteci diğer tüm belirteçlerle karşılaştırır ve bu karşılaştırmanın maliyeti belirteç sayısının karesiyle orantılı olarak artar. Bu fark, belirteç sayısının binlere ulaştığı yüksek çözünürlüklü görüntülerde, uzun videolarda ve 3B tıbbi taramalarda en çok önem kazanır.
Seçici Tarama Nasıl Çalışır?#
Aralık 2023'te Albert Gu ve Tri Dao tarafından tanıtılan Mamba, bir diziyi doğrusal bir yinelemeyle işler. Her kanal için gizli durum h, h ← exp(Δ·A)·h + Δ·B·x biçiminde güncellenir ve çıktı y = C·h olarak elde edilir. S4 gibi önceki SSM'lerde Δ, B ve C her belirtece aynı biçimde uygulanan öğrenilmiş sabitlerdi. Mamba bunları her belirteçten hesaplar; böylece model, durumunun ne kadarını koruyacağına ve yeni girdinin ne kadarını içeri alacağına belirteç bazında karar verir; seçici bir SSM'nin “seçici” kısmı da budur. Dizi ne kadar uzun olursa olsun durumun boyutu sabittir ve Mamba'nın donanım özelliklerini dikkate alan GPU çekirdekleri yinelemeyi paralel taramayla hesapladığından eğitim hızlı kalır. Aşağıdaki PyTorch kod parçacığı bu yinelemeyi uygular, Vim'de olduğu gibi görüntü yaması belirteçlerinden oluşan bir diziyi ileri ve geri yönde tarar ve yinelemeyi iki çözünürlükte çalıştırır:
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")224×224 görüntü için 196, 448×448 görüntü için 784 belirteç yazdırır; her biri 192 boyutlu bir çıktıya eşlenir. Taramanın durumu her iki çözünürlükte de 192 × 16 = 3.072 değer tutarken aynı belirteçler üzerindeki öz dikkat haritası 38.416 girişten 614.656 girişe çıkar; yani 4 kat fazla belirteç için 16 kat büyür.
Mamba'yı Görüntülere Uyarlama#
Görüntüler 2B'dir ve doğal bir okuma sırasına sahip değildir. Tek yönlü bir yineleme, her yamanın yalnızca kendisinden önce taranan yamaları görmesini sağlar. Vision Mamba modelleri bu sorunu birden fazla tarama yolu kullanarak çözer:
- Vim: Yama belirteçlerine konum gömmeleri ekler, dizinin ortasına bir sınıf belirteci yerleştirir ve her bloğun SSM'sini dizi üzerinde hem ileri hem geri çalıştırır; böylece her yama her iki yönden de bağlam toplar. Makalede Vim'in, 1248×1248 görüntülerden toplu çıkarım sırasında özellik çıkarırken DeiT görsel Transformer'ından 2,8 kat daha hızlı çalıştığı ve %86,8 daha az GPU belleği kullandığı bildiriliyor.
- VMamba: VMamba, yama ızgarasını her iki yönde satır satır ve sütun sütun dört yolda okuyan 2B seçici tarama kullanır ve algılama ile segmentasyon için çok ölçekli özellik haritaları oluşturan hiyerarşik bir omurga ağında sonuçları birleştirir.
- Hibritler: NVIDIA'nın CVPR 2025'te yayımlanan MambaVision modeli, alt örnekleme belirteç sayısını tam küresel dikkat için yeterince düşürdüğünde hiyerarşik bir Mamba omurga ağının son katmanlarına öz dikkat blokları ekler.
Bir Vim kodlayıcı bloğu, normalleştirilmiş belirteçleri iki kola ayırır: Biri iki yönde taranır, kapı kolu ise her iki tarama çıktısını bir artık bağlantıdan önce ölçeklendirir:
Vision Mamba, Vision Transformer'lar ve CNN'ler#
- Görüntü Dönüştürücüsü: Öz-dikkat, tüm N yama belirteçlerini O(N²) maliyetle ikili olarak karşılaştırır ve her yamanın doğrudan başka herhangi bir yamaya dikkat etmesini sağlar. Vision Mamba taraması O(N) maliyetlidir ve bilgiyi, sabit boyutlu durumu üzerinden uzak yamalardan aktarır. Gerçek zamanlı algılayıcılar da dikkat mekanizmasının karesel maliyetini, belirteçlerin az olduğu yerlere yerleştirerek yönetir: YOLO26, öz-dikkat bloklarını yalnızca stride-32 öznitelik haritasına uygular; burada 640×640 girişten yalnızca 20 × 20 = 400 konum kalır.
- Evrişimli sinir ağı (CNN): Evrişimler her katmanda yerel bir komşuluk içindeki bilgileri birleştirir ve derinlik ile alt örnekleme yoluyla büyük bir alıcı alan oluşturur; tek bir Mamba taraması ise tüm görüntüyü kapsar.
- Taramaya gerek var mı? Weihao Yu ve Xinchao Wang, MambaOut modelinde SSM'yi Mamba tarzı bloklardan çıkarıp yalnızca kapılı evrişimleri bıraktı; ortaya çıkan modeller, ImageNet sınıflandırmasında karşılaştırdıkları tüm görsel Mamba modellerini geride bıraktı. MambaOut, algılama ve segmentasyonda en iyi görsel Mamba modellerinin gerisinde kaldı; bu görevlerde daha yüksek giriş çözünürlükleri çok daha uzun belirteç dizileri oluşturur. Bu sonuç, taramanın uzun dizilerde avantaj sağladığını gösterir.
Uygulamalar#
- Tıbbi görüntü analizi: BT ve MRI hacimleri, bir fotoğrafın içerdiğinden çok daha fazla voksel içerir. U-Mamba gibi modeller, yönetilebilir bellek maliyetiyle organları ve tümörleri küresel bağlamı kullanarak segmentlere ayırmak için U-Net tarzı bir kodlayıcı-kod çözücüye Mamba blokları ekler.
- Video anlama: VideoMamba, taramayı uzay-zaman belirteçlerine genişletir; böylece tam dikkat hesaplamasını maliyetli hâle getirecek belirteç sayılarına sahip uzun klipleri işleyebilir.
- Yoğun tahmin: Nesne algılama ve anlamsal segmentasyon yüksek giriş çözünürlüklerinde çalışır; Vim'in bellek tasarrufunun en çok arttığı yer de burasıdır. 1248×1248 çözünürlükte 16×16 yama boyutu 6.084 belirteç oluşturur ve bunlar üzerindeki tek bir dikkat haritası yaklaşık 37 milyon giriş içerir.










