Vision Mamba
Vision Mamba applique aux fragments d’image le balayage sélectif de l’espace d’états de Mamba, en intégrant le contexte global en temps linéaire. Présentation de Vim, VMamba, des compromis et du code.
Vision Mamba est une famille de réseaux dorsaux de vision par ordinateur qui remplacent les couches d’auto-attention d’un Transformer de vision (ViT) par Mamba, un modèle d’espace d’états (SSM) sélectif conçu à l’origine pour le langage et d’autres séquences longues. Le nom désigne à la fois cette classe de modèles et Vim, le modèle éponyme présenté par Lianghui Zhu et ses collègues en janvier 2024, puis publié à ICML 2024. Comme un ViT, un modèle Vision Mamba découpe une image en patchs et les traite comme une séquence de jetons. Il combine les informations de cette séquence au moyen d’un balayage récurrent, dont le coût augmente linéairement avec le nombre de jetons, tandis que l’auto-attention compare chaque jeton à tous les autres, pour un coût quadratique. Cette différence est particulièrement importante pour les images haute résolution, les longues vidéos et les scanners médicaux 3D, où le nombre de jetons se chiffre en milliers.
Fonctionnement du balayage sélectif#
Présenté par Albert Gu et Tri Dao en décembre 2023, Mamba traite une séquence par récurrence linéaire. Pour chaque canal, un état caché h est mis à jour selon h ← exp(Δ·A)·h + Δ·B·x et produit une sortie y = C·h. Dans les SSM antérieurs comme S4, Δ, B et C étaient des constantes apprises, appliquées de façon identique à chaque jeton. Mamba les calcule à partir de chaque jeton, ce qui permet au modèle de décider, jeton par jeton, quelle part de son état conserver et quelle part de la nouvelle entrée intégrer : c’est l’aspect « sélectif » d’un SSM sélectif. L’état conserve une taille fixe quelle que soit la longueur de la séquence, et les noyaux GPU de Mamba, optimisés pour le matériel, calculent la récurrence par balayage parallèle, ce qui maintient la rapidité de l’entraînement. L’extrait PyTorch ci-dessous implémente cette récurrence, parcourt une séquence de jetons de patchs d’image dans les deux sens comme le fait Vim et l’exécute à deux résolutions :
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")Le programme affiche 196 jetons pour l’image 224×224 et 784 pour celle de 448×448, chacun associé à une sortie de 192 dimensions. L’état du balayage contient 192 × 16 = 3 072 valeurs aux deux résolutions, tandis qu’une carte d’auto-attention sur les mêmes jetons passe de 38 416 à 614 656 entrées, soit 16 fois plus pour 4 fois plus de jetons.
Adapter Mamba aux images#
Les images sont en 2D et n’ont pas d’ordre de lecture naturel. Une récurrence unidirectionnelle permet à chaque patch de ne voir que les patchs parcourus avant lui. Les modèles Vision Mamba résolvent ce problème en utilisant plusieurs parcours :
- Vim : Ajoute des intégrations de position aux jetons de patchs, place un jeton de classe au milieu de la séquence et exécute le SSM de chaque bloc sur la séquence dans les deux sens, afin que chaque patch recueille le contexte des deux côtés. L’article indique que Vim est 2,8 fois plus rapide que le Transformer de vision DeiT et utilise 86,8 % moins de mémoire GPU lors de l’extraction de caractéristiques d’images 1248×1248 en inférence par lots.
- VMamba : VMamba utilise un balayage sélectif 2D qui parcourt la grille de patchs selon quatre chemins, ligne par ligne et colonne par colonne dans les deux sens, puis fusionne les résultats au sein d’un réseau dorsal hiérarchique qui produit des cartes de caractéristiques mult échelles pour la détection et la segmentation.
- Modèles hybrides : Le MambaVision de NVIDIA, publié à CVPR 2025, ajoute des blocs d’auto-attention aux dernières couches d’un réseau dorsal Mamba hiérarchique, où le sous-échantillonnage a suffisamment réduit le nombre de jetons pour permettre une attention globale exacte.
Un bloc d’encodeur Vim répartit les jetons normalisés entre une branche parcourue dans les deux sens et une branche de contrôle qui module les deux sorties du balayage avant une connexion résiduelle :
Vision Mamba, Transformers de vision et CNN#
- Transformer de vision : L’auto-attention compare toutes les paires de N jetons de patch, pour un coût O(N²), et permet à chaque patch de prêter directement attention à tous les autres. Le balayage Vision Mamba coûte O(N) et transmet les informations des patchs éloignés par un état de taille fixe. Les détecteurs en temps réel maîtrisent également le coût quadratique de l’attention en la plaçant là où il y a peu de jetons : YOLO26 limite ses blocs d’auto-attention à la carte de caractéristiques de pas 32, où une entrée de 640 × 640 ne laisse que 20 × 20 = 400 positions.
- Réseau neuronal convolutif (CNN) : Les convolutions combinent un voisinage local à chaque couche et construisent un grand champ réceptif grâce à la profondeur et au sous-échantillonnage, tandis qu’un balayage Mamba couvre l’image entière.
- Le balayage est-il nécessaire ? Dans MambaOut, Weihao Yu et Xinchao Wang ont supprimé le SSM des blocs de type Mamba, en ne conservant que les convolutions à contrôle, et les modèles obtenus ont surpassé tous les modèles Mamba visuels comparés pour la classification sur ImageNet. MambaOut n’a pas atteint les meilleurs modèles Mamba visuels en détection et segmentation, où des résolutions d’entrée plus élevées produisent des séquences de jetons bien plus longues. Cela indique que le balayage est particulièrement utile pour les séquences longues.
Applications#
- Analyse d’images médicales : Les volumes de tomodensitométrie et d’IRM contiennent bien plus de voxels qu’une photo ne compte de pixels. Des modèles comme U-Mamba ajoutent des blocs Mamba à un encodeur-décodeur de type U-Net pour segmenter les organes et les tumeurs avec un contexte global, tout en maîtrisant l’utilisation de la mémoire.
- Compréhension vidéo : VideoMamba étend le balayage aux jetons spatio-temporels, ce qui permet au modèle de traiter de longs clips dont le nombre de jetons rendrait l’attention complète trop coûteuse.
- Prédiction dense : La détection d’objets et la segmentation sémantique utilisent des résolutions d’entrée élevées, là où les économies de mémoire de Vim sont les plus importantes : à 1248×1248, un découpage en patchs de 16×16 donne 6 084 jetons, et une seule carte d’attention sur ces jetons contient environ 37 millions d’entrées.










