YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Vision Mamba

Vision Mamba, Mamba'nın seçici durum uzayı taramasını görüntü parçacıklarına uygulayarak doğrusal zamanda genel bağlamı harmanlar. Vim, VMamba, ödünleşimleri ve kodu ele alır.

Vision Mamba, bilgisayarlı görü alanındaki omurga ağları ailesidir ve öz dikkat katmanlarından Görsel Transformer (ViT) mimarisinde yer alanları, başlangıçta dil ve diğer uzun diziler için geliştirilmiş seçici bir durum uzayı modeli (SSM) olan Mamba ile değiştirir. Bu ad, hem bu model sınıfını hem de Lianghui Zhu ve çalışma arkadaşlarının Ocak 2024'te tanıttığı ve ICML 2024'te yayımlanan aynı adlı Vim modelini ifade eder. Bir ViT gibi, Vision Mamba modeli görüntüyü yamalara böler ve bunları bir belirteç dizisi olarak ele alır. Model, bu dizi boyunca bilgiyi, maliyeti belirteç sayısıyla doğrusal olarak artan yinelemeli bir taramayla birleştirir; öz dikkat ise her belirteci diğer tüm belirteçlerle karşılaştırır ve bu karşılaştırmanın maliyeti belirteç sayısının karesiyle orantılı olarak artar. Bu fark, belirteç sayısının binlere ulaştığı yüksek çözünürlüklü görüntülerde, uzun videolarda ve 3B tıbbi taramalarda en çok önem kazanır.

Seçici Tarama Nasıl Çalışır?#

Aralık 2023'te Albert Gu ve Tri Dao tarafından tanıtılan Mamba, bir diziyi doğrusal bir yinelemeyle işler. Her kanal için gizli durum h, h ← exp(Δ·A)·h + Δ·B·x biçiminde güncellenir ve çıktı y = C·h olarak elde edilir. S4 gibi önceki SSM'lerde Δ, B ve C her belirtece aynı biçimde uygulanan öğrenilmiş sabitlerdi. Mamba bunları her belirteçten hesaplar; böylece model, durumunun ne kadarını koruyacağına ve yeni girdinin ne kadarını içeri alacağına belirteç bazında karar verir; seçici bir SSM'nin “seçici” kısmı da budur. Dizi ne kadar uzun olursa olsun durumun boyutu sabittir ve Mamba'nın donanım özelliklerini dikkate alan GPU çekirdekleri yinelemeyi paralel taramayla hesapladığından eğitim hızlı kalır. Aşağıdaki PyTorch kod parçacığı bu yinelemeyi uygular, Vim'de olduğu gibi görüntü yaması belirteçlerinden oluşan bir diziyi ileri ve geri yönde tarar ve yinelemeyi iki çözünürlükte çalıştırır:

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

224×224 görüntü için 196, 448×448 görüntü için 784 belirteç yazdırır; her biri 192 boyutlu bir çıktıya eşlenir. Taramanın durumu her iki çözünürlükte de 192 × 16 = 3.072 değer tutarken aynı belirteçler üzerindeki öz dikkat haritası 38.416 girişten 614.656 girişe çıkar; yani 4 kat fazla belirteç için 16 kat büyür.

Mamba'yı Görüntülere Uyarlama#

Görüntüler 2B'dir ve doğal bir okuma sırasına sahip değildir. Tek yönlü bir yineleme, her yamanın yalnızca kendisinden önce taranan yamaları görmesini sağlar. Vision Mamba modelleri bu sorunu birden fazla tarama yolu kullanarak çözer:

  • Vim: Yama belirteçlerine konum gömmeleri ekler, dizinin ortasına bir sınıf belirteci yerleştirir ve her bloğun SSM'sini dizi üzerinde hem ileri hem geri çalıştırır; böylece her yama her iki yönden de bağlam toplar. Makalede Vim'in, 1248×1248 görüntülerden toplu çıkarım sırasında özellik çıkarırken DeiT görsel Transformer'ından 2,8 kat daha hızlı çalıştığı ve %86,8 daha az GPU belleği kullandığı bildiriliyor.
  • VMamba: VMamba, yama ızgarasını her iki yönde satır satır ve sütun sütun dört yolda okuyan 2B seçici tarama kullanır ve algılama ile segmentasyon için çok ölçekli özellik haritaları oluşturan hiyerarşik bir omurga ağında sonuçları birleştirir.
  • Hibritler: NVIDIA'nın CVPR 2025'te yayımlanan MambaVision modeli, alt örnekleme belirteç sayısını tam küresel dikkat için yeterince düşürdüğünde hiyerarşik bir Mamba omurga ağının son katmanlarına öz dikkat blokları ekler.

Bir Vim kodlayıcı bloğu, normalleştirilmiş belirteçleri iki kola ayırır: Biri iki yönde taranır, kapı kolu ise her iki tarama çıktısını bir artık bağlantıdan önce ölçeklendirir:

Vision Mamba, Vision Transformer'lar ve CNN'ler#

  • Görüntü Dönüştürücüsü: Öz-dikkat, tüm N yama belirteçlerini O(N²) maliyetle ikili olarak karşılaştırır ve her yamanın doğrudan başka herhangi bir yamaya dikkat etmesini sağlar. Vision Mamba taraması O(N) maliyetlidir ve bilgiyi, sabit boyutlu durumu üzerinden uzak yamalardan aktarır. Gerçek zamanlı algılayıcılar da dikkat mekanizmasının karesel maliyetini, belirteçlerin az olduğu yerlere yerleştirerek yönetir: YOLO26, öz-dikkat bloklarını yalnızca stride-32 öznitelik haritasına uygular; burada 640×640 girişten yalnızca 20 × 20 = 400 konum kalır.
  • Evrişimli sinir ağı (CNN): Evrişimler her katmanda yerel bir komşuluk içindeki bilgileri birleştirir ve derinlik ile alt örnekleme yoluyla büyük bir alıcı alan oluşturur; tek bir Mamba taraması ise tüm görüntüyü kapsar.
  • Taramaya gerek var mı? Weihao Yu ve Xinchao Wang, MambaOut modelinde SSM'yi Mamba tarzı bloklardan çıkarıp yalnızca kapılı evrişimleri bıraktı; ortaya çıkan modeller, ImageNet sınıflandırmasında karşılaştırdıkları tüm görsel Mamba modellerini geride bıraktı. MambaOut, algılama ve segmentasyonda en iyi görsel Mamba modellerinin gerisinde kaldı; bu görevlerde daha yüksek giriş çözünürlükleri çok daha uzun belirteç dizileri oluşturur. Bu sonuç, taramanın uzun dizilerde avantaj sağladığını gösterir.

Uygulamalar#

  • Tıbbi görüntü analizi: BT ve MRI hacimleri, bir fotoğrafın içerdiğinden çok daha fazla voksel içerir. U-Mamba gibi modeller, yönetilebilir bellek maliyetiyle organları ve tümörleri küresel bağlamı kullanarak segmentlere ayırmak için U-Net tarzı bir kodlayıcı-kod çözücüye Mamba blokları ekler.
  • Video anlama: VideoMamba, taramayı uzay-zaman belirteçlerine genişletir; böylece tam dikkat hesaplamasını maliyetli hâle getirecek belirteç sayılarına sahip uzun klipleri işleyebilir.
  • Yoğun tahmin: Nesne algılama ve anlamsal segmentasyon yüksek giriş çözünürlüklerinde çalışır; Vim'in bellek tasarrufunun en çok arttığı yer de burasıdır. 1248×1248 çözünürlükte 16×16 yama boyutu 6.084 belirteç oluşturur ve bunlar üzerindeki tek bir dikkat haritası yaklaşık 37 milyon giriş içerir.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla