Vision Mamba
Vision Mamba 将 Mamba 的选择性状态空间扫描应用于图像块,以线性时间融合全局上下文。介绍 Vim、VMamba、优缺点和代码。
Vision Mamba 是一类计算机视觉骨干网络,用 Mamba 替换 Vision Transformer(ViT)中的自注意力层。Mamba 是一种选择性状态空间模型(SSM),最初为语言和其他长序列任务而构建。这个名称既指这类模型,也指同名模型 Vim;Lianghui Zhu 及其同事于 2024 年 1 月提出 Vim,并在 ICML 2024 上发表。和 ViT 一样,Vision Mamba 模型会将图像切分为图块,并将其视为一串token。模型通过循环扫描来混合序列中的信息,其计算成本随 token 数量线性增长;而自注意力需要比较每个 token 与其他所有 token,计算成本则呈二次增长。这一差异在高分辨率图像、长视频和三维医学扫描中尤为重要,因为这些数据的 token 数量可达数千。
选择性扫描的工作原理#
Mamba 由 Albert Gu 和 Tri Dao于 2023 年 12 月提出,它通过线性递归处理序列。对于每个通道,隐藏状态 h 按 h ← exp(Δ·A)·h + Δ·B·x 更新,并按 y = C·h 读出。在 S4 等早期 SSM 中,Δ、B 和 C 是应用于每个 token 的可学习常量。Mamba 则根据每个 token 计算这些值,让模型能够逐个决定保留多少状态、接收多少新输入;这就是选择性 SSM 中“选择性”的含义。无论序列多长,状态大小都固定;Mamba 面向硬件优化的 GPU内核会通过并行扫描计算递归,因此训练速度仍然很快。下面的 PyTorch代码片段实现了这一递归,像 Vim 一样对图像块 token 序列进行正向和反向扫描,并以两种分辨率运行:
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")对于 224×224 图像,它会输出 196 个 token;对于 448×448 图像,则会输出 784 个 token,每个 token 都映射为 192 维输出。在这两种分辨率下,扫描状态都包含 192 × 16 = 3,072 个值;而相同 token 对应的自注意力图会从 38,416 个元素增至 614,656 个元素,token 数量增加 4 倍时,元素数量增加到 16 倍。
将 Mamba 适配到图像#
图像是二维的,没有天然的阅读顺序,而单向递归会导致每个图块只能看到扫描路径中位于它之前的图块。Vision Mamba 模型通过多条扫描路径解决这个问题:
- Vim:为图块 token 添加位置嵌入,将分类 token 放在序列中间,并让每个块中的 SSM 对序列同时进行正向和反向处理,因此每个图块都能从两侧收集上下文。论文报告称,在批量推理中从 1248×1248 图像提取特征时,Vim 的运行速度比 DeiT 视觉 Transformer 快 2.8 倍,GPU 内存占用减少 86.8%。
- VMamba:VMamba采用二维选择性扫描,沿着图块网格的四条路径读取数据,分别按行和按列进行双向扫描,并在分层骨干网络中合并结果,输出用于检测和分割的多尺度特征图。
- 混合模型:NVIDIA 的 MambaVision发表于 CVPR 2025,它在分层 Mamba 骨干网络的最后几层加入自注意力块;此时经过下采样,token 数量已足够少,可以进行精确的全局注意力计算。
Vim 编码器块会将归一化后的 token 分为两个分支:一个双向扫描分支和一个门控分支;门控分支会在残差连接之前缩放两种扫描的输出:
Vision Mamba、Vision Transformer 与 CNN#
- 视觉 Transformer:自注意力以 O(N²) 的成本两两比较全部 N 个图像块令牌,并让任一图像块直接关注其他图像块。Vision Mamba 扫描的成本为 O(N),并通过固定大小的状态传递远处图像块的信息。实时检测器也会通过将注意力放在令牌较少的位置来控制注意力的二次复杂度:YOLO26将其自注意力模块限制在步幅为 32 的特征图上;对于 640×640 的输入,该特征图上只有 20 × 20 = 400 个位置。
- 卷积神经网络(CNN):卷积会在每一层混合局部邻域信息,并通过增加网络深度和下采样构建较大的感受野,而一次 Mamba 扫描就能覆盖整幅图像。
- 扫描是否必要?在 MambaOut中,Weihao Yu 和 Xinchao Wang 移除了 Mamba 风格模块中的 SSM,仅保留门控卷积;在他们比较的模型中,最终模型在 ImageNet 分类任务上胜过所有视觉 Mamba 模型。MambaOut 在检测和分割任务上的表现不及最佳视觉 Mamba 模型,因为更高的输入分辨率会产生更长的 token 序列;这表明扫描在处理长序列时最能发挥作用。










