Licenza YOLO
Torna al glossario di Ultralytics

Vision Mamba

Vision Mamba applica alle patch delle immagini la scansione selettiva dello spazio degli stati di Mamba, combinando il contesto globale in tempo lineare. Panoramica di Vim, VMamba, compromessi e codice.

Vision Mamba è una famiglia di backbone per la visione artificiale che sostituisce i livelli di autoattenzione di un Vision Transformer (ViT) con Mamba, un modello dello spazio degli stati (SSM) selettivo, originariamente sviluppato per il linguaggio e altre sequenze lunghe. Il nome indica sia questa classe di modelli sia Vim, il modello omonimo introdotto da Lianghui Zhu e colleghi nel gennaio 2024 e pubblicato a ICML 2024. Come un ViT, un modello Vision Mamba suddivide un'immagine in patch e le tratta come una sequenza di token. Combina le informazioni lungo la sequenza con una scansione ricorrente il cui costo cresce linearmente con il numero di token, mentre l'autoattenzione confronta ogni token con tutti gli altri, con un costo che cresce quadraticamente. La differenza è più importante per immagini ad alta risoluzione, video lunghi e scansioni mediche 3D, in cui il numero di token arriva a migliaia.

Come funziona la scansione selettiva#

Mamba, introdotto da Albert Gu e Tri Dao nel dicembre 2023, elabora una sequenza tramite una ricorrenza lineare. Per ogni canale, uno stato nascosto h viene aggiornato secondo h ← exp(Δ·A)·h + Δ·B·x e da esso si ricava y = C·h. Nei precedenti modelli SSM, come S4, Δ, B e C erano costanti apprese applicate in modo identico a ogni token. Mamba calcola Δ, B e C a partire da ciascun token, consentendo al modello di decidere, token per token, quanta parte del proprio stato conservare e quanta parte del nuovo input lasciar entrare: è la componente "selettiva" di un SSM selettivo. Lo stato ha dimensioni fisse, indipendentemente dalla lunghezza della sequenza, e i kernel GPU di Mamba, progettati tenendo conto dell'hardware, calcolano la ricorrenza tramite una scansione parallela, così l'addestramento resta veloce. Il frammento PyTorch qui sotto implementa questa ricorrenza, scansiona in avanti e all'indietro una sequenza di token delle patch d'immagine, come fa Vim, ed esegue l'elaborazione a due risoluzioni:

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

Stampa 196 token per l'immagine 224×224 e 784 per quella 448×448, ciascuno mappato su un output di 192 dimensioni. Lo stato della scansione contiene 192 × 16 = 3.072 valori a entrambe le risoluzioni, mentre una mappa di autoattenzione sugli stessi token passa da 38.416 a 614.656 voci: 16 volte tanto per un numero di token 4 volte superiore.

Adattare Mamba alle immagini#

Le immagini sono bidimensionali e non hanno un ordine di lettura naturale; inoltre, una ricorrenza unidirezionale consente a ogni patch di vedere solo quelle scansionate prima di essa. I modelli Vision Mamba risolvono il problema con più percorsi di scansione:

  • Vim: aggiunge embedding posizionali ai token delle patch, colloca un token di classe al centro della sequenza e applica l'SSM di ciascun blocco alla sequenza in entrambe le direzioni, così ogni patch raccoglie il contesto da entrambi i lati. L'articolo riporta che Vim è 2,8 volte più veloce del transformer visivo DeiT e usa il 86,8% in meno di memoria GPU durante l'estrazione di caratteristiche da immagini 1248×1248 in inferenza con batch.
  • VMamba: VMamba usa una scansione selettiva 2D che percorre la griglia di patch seguendo quattro percorsi, riga per riga e colonna per colonna in entrambe le direzioni, e combina i risultati all'interno di un backbone gerarchico che produce mappe di caratteristiche multiscala per il rilevamento e la segmentazione.
  • Modelli ibridi: MambaVision di NVIDIA, pubblicato a CVPR 2025, aggiunge blocchi di autoattenzione agli ultimi livelli di un backbone Mamba gerarchico, dove il downsampling ha ridotto il numero di token abbastanza da rendere praticabile l'attenzione globale esatta.

Un blocco dell'encoder Vim suddivide i token normalizzati in un ramo sottoposto a scansione in entrambe le direzioni e un ramo di gating che scala entrambi gli output della scansione prima di una connessione residua:

Vision Mamba rispetto ai Vision Transformer e alle CNN#

  • Vision Transformer: La self-attention confronta a coppie tutti gli N token delle patch con un costo O(N²), consentendo a ciascuna patch di prestare attenzione direttamente a qualsiasi altra. Una scansione Vision Mamba costa O(N) e fa passare le informazioni tra patch distanti attraverso il proprio stato di dimensioni fisse. Anche i rilevatori in tempo reale gestiscono il costo quadratico dell'attenzione applicandola dove i token sono pochi: YOLO26 limita i propri blocchi di self-attention alla mappa delle caratteristiche con stride 32, dove un input da 640×640 pixel lascia solo 20 × 20 = 400 posizioni.
  • Rete neurale convoluzionale (CNN): le convoluzioni combinano un intorno locale in ogni livello e costruiscono un ampio campo recettivo attraverso la profondità e il downsampling, mentre una singola scansione Mamba copre l'intera immagine.
  • La scansione è necessaria? In MambaOut, Weihao Yu e Xinchao Wang hanno rimosso l'SSM dai blocchi in stile Mamba, mantenendo solo le convoluzioni con gating; i modelli risultanti hanno superato tutti i modelli Mamba visivi confrontati nella classificazione su ImageNet. MambaOut è rimasto indietro rispetto ai migliori modelli Mamba visivi nel rilevamento e nella segmentazione, dove risoluzioni d'input più elevate generano sequenze di token molto più lunghe: ciò indica che la scansione è vantaggiosa soprattutto con sequenze lunghe.

Applicazioni#

  • Analisi di immagini mediche: i volumi CT e MRI contengono molti più voxel dei pixel di una foto e modelli come U-Mamba aggiungono blocchi Mamba a un encoder-decoder in stile U-Net per segmentare organi e tumori con un contesto globale e un costo in memoria contenuto.
  • Comprensione video: VideoMamba estende la scansione ai token spazio-temporali, permettendo al modello di leggere clip lunghe il cui numero di token renderebbe costosa l'attenzione completa.
  • Predizione densa: il rilevamento di oggetti e la segmentazione semantica operano a risoluzioni d'input elevate, ed è in questo contesto che il risparmio di memoria di Vim è massimo: a 1248×1248, l'uso di patch 16×16 produce 6.084 token e una singola mappa di attenzione che li comprende contiene circa 37 milioni di voci.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning