Vision Mamba

Vision Mamba, Transformer'lardaki dikkat tabanlı mekanizmaların baskınlığından uzaklaşarak bilgisayarlı görü için derin öğrenme mimarilerinde önemli bir değişimi temsil eder. Başlangıçta doğal dil işlemede verimli dizi modelleme için tasarlanan Mamba mimarisinin görsel görevlere özel olarak uyarlanmış bir sürümüdür. Durum Uzayı Modellerinden (SSMs) yararlanan Vision Mamba, geleneksel öz dikkat katmanlarının karesel karmaşıklığına doğrusal karmaşıklıkta bir alternatif sunar. Böylece yüksek çözünürlüklü görüntüleri daha verimli işleyebilir; bu da onu hesaplama kaynaklarının sınırlı olduğu veya görsel verilerdeki uzun erimli bağımlılıkların Görüntü Transformer'larında (ViT) tipik olan yüksek bellek kullanımı olmadan yakalanması gereken uygulamalarda özellikle değerli kılar.

Vision Mamba Nasıl Çalışır#

Vision Mamba'nın temelinde, verileri seçici olarak tarama kavramı bulunur. Geleneksel Evrişimli Sinir Ağları (CNNs), görüntüleri yerel kayan pencereler kullanarak işler. Bu yöntem dokuları ve kenarları algılamada başarılı olsa da genel bağlamı anlamakta zorlanır. Buna karşılık Transformer'lar, her pikseli (veya parçayı) diğer tüm piksellerle ilişkilendirmek için küresel dikkat mekanizmasını kullanır; bu, güçlü bir bağlam sağlar ancak görüntü çözünürlüğü arttıkça hesaplama maliyeti yükselir. Vision Mamba, görüntüleri dizilere dönüştürüp seçici durum uzayları kullanarak işleyerek bu iki yaklaşım arasındaki boşluğu kapatır. Böylece model, görsel bilgileri sabit boyutlu bir duruma sıkıştırabilir; görüntü dizisindeki uzun mesafelerde ilgili ayrıntıları korurken ilgisiz gürültüyü ayıklar.

Mimari genellikle çift yönlü bir tarama mekanizması içerir. Görüntüler 2B yapılardır ve metin gibi doğaları gereği sıralı değildir; bu nedenle Vision Mamba, tarama sırasından bağımsız olarak uzamsal ilişkilerin anlaşılmasını sağlamak için görüntü parçalarını ileri ve geri yönlerde (bazen farklı yollar izleyerek) tarar. Bu yaklaşım, modelin Transformer'lara benzer küresel alıcı alanlara sahip olmasını, ancak daha hızlı çıkarım ve daha düşük bellek kullanımı sunmasını sağlar; model, çoğu zaman ImageNet gibi kıyaslamalarda en güncel sonuçlarla yarışır.

Gerçek Dünya Uygulamaları#

Vision Mamba'nın verimliliği, onu kaynakların kısıtlı olduğu ortamlar ve yüksek çözünürlüklü görevler için son derece elverişli kılar.

• Tıbbi Görüntü Analizi: Radyoloji gibi alanlarda, yüksek çözünürlüklü MRI veya CT taramalarını analiz etmek, büyük bir görüntü içinde birbirinden uzak olabilecek ince anormalliklerin saptanmasını gerektirir. Vision Mamba, standart Transformer'ları sıkça zorlayan bellek darboğazlarına yol açmadan bu büyük tıbbi görüntü analizi dosyalarını etkili biçimde işleyebilir ve doktorların tümörleri veya kırıkları yüksek hassasiyetle belirlemesine yardımcı olabilir.
• Uç Cihazlarda Otonom Seyir: Sürücüsüz araçlar ve dronlar, video akışlarını gerçek zamanlı işlemek için uç bilişime dayanır. Vision Mamba'nın doğrusal ölçeklenmesi, bu sistemlerin nesne algılama ve anlamsal bölümleme için yüksek kare hızlı video girdilerini ağır Transformer modellerinden daha verimli işlemesini sağlayarak güvenlik açısından kritik kararlarda daha hızlı tepki süreleri sunar.

Vision Mamba ve Görüntü Transformer'ları (ViT)#

Her iki mimari de genel bağlamı yakalamayı amaçlasa da çalışma biçimleri temelden farklıdır.

• Görüntü Transformer'ı (ViT): Görüntü parçalarının her çifti arasındaki ilişkiyi hesaplayan dikkat mekanizmasına dayanır. Bu, karesel karmaşıklıkla ($O(N^2)$) sonuçlanır; yani görüntü boyutunu iki katına çıkarmak hesaplama maliyetini dört katına çıkarır.
• Vision Mamba: Görsel belirteçleri doğrusal olarak ($O(N)$) işlemek için Durum Uzayı Modellerinden (SSMs) yararlanır. Yeni parçaları gördükçe güncellenen bir durum bilgisini koruyarak benzer doğruluk düzeyini sürdürürken yüksek çözünürlüklerde çok daha iyi ölçeklenmesini sağlar.

Örnek: Verimli Çıkarım İş Akışı#

Vision Mamba özel bir mimari olsa da verimlilik ilkeleri, Ultralytics YOLO26 gibi modern gerçek zamanlı modellerin hedefleriyle örtüşür. Optimize edilmiş görüntü görevleri gerçekleştirmek isteyen kullanıcılar, eğitim ve dağıtım için Ultralytics Platform'dan yararlanabilir. Aşağıda, çıkarım çalıştırmak için ultralytics paketinin kullanıldığı ve yüksek düzeyde optimize edilmiş görüntü modellerini kullanmanın ne kadar kolay olduğu gösteriliyor.

from ultralytics import YOLO

# Önceden eğitilmiş bir YOLO26 modelini yükle (hız ve doğruluk için optimize edilmiştir)
model = YOLO("yolo26n.pt")  # Verimliliği vurgulayan nano model için 'n'

# Bir görüntü üzerinde çıkarım yap
results = model.predict("path/to/image.jpg")

# Sonuçları görüntüle
results[0].show()

Temel Avantajlar ve Geleceğe Bakış#

Mamba tabanlı mimarilerin bilgisayarlı görüye girişi, donanımın ihtiyaçlarını daha fazla gözeten yapay zekâya doğru bir geçişe işaret ediyor. Küresel dikkat mekanizmasının hesaplama yükünü azaltan araştırmacılar, daha küçük cihazlarda gelişmiş yapay zekâ ajanlarını çalıştırmanın önünü açıyor.

VMamba makalesi ve verimli derin öğrenme alanındaki gelişmeler gibi son araştırmalar, bu modellerin video anlama ile 3B nesne algılama arasında uzanan görevlerde geleneksel temel ağların yerini alma potansiyelini ortaya koyuyor. Araştırma topluluğu tarama stratejilerini ve evrişimli katmanlarla bütünleşmeyi geliştirmeyi sürdürürken Vision Mamba, CNN'ler ve Transformer'ların yanı sıra derin öğrenme araç kutusunun standart bir bileşeni olmaya hazırlanıyor.