Vision Mamba
Vision Mamba applica alle patch delle immagini la scansione selettiva dello spazio degli stati di Mamba, combinando il contesto globale in tempo lineare. Panoramica di Vim, VMamba, compromessi e codice.
Vision Mamba è una famiglia di backbone per la visione artificiale che sostituisce i livelli di autoattenzione di un Vision Transformer (ViT) con Mamba, un modello dello spazio degli stati (SSM) selettivo, originariamente sviluppato per il linguaggio e altre sequenze lunghe. Il nome indica sia questa classe di modelli sia Vim, il modello omonimo introdotto da Lianghui Zhu e colleghi nel gennaio 2024 e pubblicato a ICML 2024. Come un ViT, un modello Vision Mamba suddivide un'immagine in patch e le tratta come una sequenza di token. Combina le informazioni lungo la sequenza con una scansione ricorrente il cui costo cresce linearmente con il numero di token, mentre l'autoattenzione confronta ogni token con tutti gli altri, con un costo che cresce quadraticamente. La differenza è più importante per immagini ad alta risoluzione, video lunghi e scansioni mediche 3D, in cui il numero di token arriva a migliaia.
Come funziona la scansione selettiva#
Mamba, introdotto da Albert Gu e Tri Dao nel dicembre 2023, elabora una sequenza tramite una ricorrenza lineare. Per ogni canale, uno stato nascosto h viene aggiornato secondo h ← exp(Δ·A)·h + Δ·B·x e da esso si ricava y = C·h. Nei precedenti modelli SSM, come S4, Δ, B e C erano costanti apprese applicate in modo identico a ogni token. Mamba calcola Δ, B e C a partire da ciascun token, consentendo al modello di decidere, token per token, quanta parte del proprio stato conservare e quanta parte del nuovo input lasciar entrare: è la componente "selettiva" di un SSM selettivo. Lo stato ha dimensioni fisse, indipendentemente dalla lunghezza della sequenza, e i kernel GPU di Mamba, progettati tenendo conto dell'hardware, calcolano la ricorrenza tramite una scansione parallela, così l'addestramento resta veloce. Il frammento PyTorch qui sotto implementa questa ricorrenza, scansiona in avanti e all'indietro una sequenza di token delle patch d'immagine, come fa Vim, ed esegue l'elaborazione a due risoluzioni:
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")Stampa 196 token per l'immagine 224×224 e 784 per quella 448×448, ciascuno mappato su un output di 192 dimensioni. Lo stato della scansione contiene 192 × 16 = 3.072 valori a entrambe le risoluzioni, mentre una mappa di autoattenzione sugli stessi token passa da 38.416 a 614.656 voci: 16 volte tanto per un numero di token 4 volte superiore.
Adattare Mamba alle immagini#
Le immagini sono bidimensionali e non hanno un ordine di lettura naturale; inoltre, una ricorrenza unidirezionale consente a ogni patch di vedere solo quelle scansionate prima di essa. I modelli Vision Mamba risolvono il problema con più percorsi di scansione:
- Vim: aggiunge embedding posizionali ai token delle patch, colloca un token di classe al centro della sequenza e applica l'SSM di ciascun blocco alla sequenza in entrambe le direzioni, così ogni patch raccoglie il contesto da entrambi i lati. L'articolo riporta che Vim è 2,8 volte più veloce del transformer visivo DeiT e usa il 86,8% in meno di memoria GPU durante l'estrazione di caratteristiche da immagini 1248×1248 in inferenza con batch.
- VMamba: VMamba usa una scansione selettiva 2D che percorre la griglia di patch seguendo quattro percorsi, riga per riga e colonna per colonna in entrambe le direzioni, e combina i risultati all'interno di un backbone gerarchico che produce mappe di caratteristiche multiscala per il rilevamento e la segmentazione.
- Modelli ibridi: MambaVision di NVIDIA, pubblicato a CVPR 2025, aggiunge blocchi di autoattenzione agli ultimi livelli di un backbone Mamba gerarchico, dove il downsampling ha ridotto il numero di token abbastanza da rendere praticabile l'attenzione globale esatta.
Un blocco dell'encoder Vim suddivide i token normalizzati in un ramo sottoposto a scansione in entrambe le direzioni e un ramo di gating che scala entrambi gli output della scansione prima di una connessione residua:
Vision Mamba rispetto ai Vision Transformer e alle CNN#
- Vision Transformer: La self-attention confronta a coppie tutti gli N token delle patch con un costo O(N²), consentendo a ciascuna patch di prestare attenzione direttamente a qualsiasi altra. Una scansione Vision Mamba costa O(N) e fa passare le informazioni tra patch distanti attraverso il proprio stato di dimensioni fisse. Anche i rilevatori in tempo reale gestiscono il costo quadratico dell'attenzione applicandola dove i token sono pochi: YOLO26 limita i propri blocchi di self-attention alla mappa delle caratteristiche con stride 32, dove un input da 640×640 pixel lascia solo 20 × 20 = 400 posizioni.
- Rete neurale convoluzionale (CNN): le convoluzioni combinano un intorno locale in ogni livello e costruiscono un ampio campo recettivo attraverso la profondità e il downsampling, mentre una singola scansione Mamba copre l'intera immagine.
- La scansione è necessaria? In MambaOut, Weihao Yu e Xinchao Wang hanno rimosso l'SSM dai blocchi in stile Mamba, mantenendo solo le convoluzioni con gating; i modelli risultanti hanno superato tutti i modelli Mamba visivi confrontati nella classificazione su ImageNet. MambaOut è rimasto indietro rispetto ai migliori modelli Mamba visivi nel rilevamento e nella segmentazione, dove risoluzioni d'input più elevate generano sequenze di token molto più lunghe: ciò indica che la scansione è vantaggiosa soprattutto con sequenze lunghe.
Applicazioni#
- Analisi di immagini mediche: i volumi CT e MRI contengono molti più voxel dei pixel di una foto e modelli come U-Mamba aggiungono blocchi Mamba a un encoder-decoder in stile U-Net per segmentare organi e tumori con un contesto globale e un costo in memoria contenuto.
- Comprensione video: VideoMamba estende la scansione ai token spazio-temporali, permettendo al modello di leggere clip lunghe il cui numero di token renderebbe costosa l'attenzione completa.
- Predizione densa: il rilevamento di oggetti e la segmentazione semantica operano a risoluzioni d'input elevate, ed è in questo contesto che il risparmio di memoria di Vim è massimo: a 1248×1248, l'uso di patch 16×16 produce 6.084 token e una singola mappa di attenzione che li comprende contiene circa 37 milioni di voci.










