获取 YOLO 许可
返回 Ultralytics 术语表

Vision Mamba

Vision Mamba 将 Mamba 的选择性状态空间扫描应用于图像块,以线性时间融合全局上下文。介绍 Vim、VMamba、优缺点和代码。

Vision Mamba 是一类计算机视觉骨干网络,用 Mamba 替换 Vision Transformer(ViT)中的自注意力层。Mamba 是一种选择性状态空间模型(SSM),最初为语言和其他长序列任务而构建。这个名称既指这类模型,也指同名模型 Vim;Lianghui Zhu 及其同事于 2024 年 1 月提出 Vim,并在 ICML 2024 上发表。和 ViT 一样,Vision Mamba 模型会将图像切分为图块,并将其视为一串token。模型通过循环扫描来混合序列中的信息,其计算成本随 token 数量线性增长;而自注意力需要比较每个 token 与其他所有 token,计算成本则呈二次增长。这一差异在高分辨率图像、长视频和三维医学扫描中尤为重要,因为这些数据的 token 数量可达数千。

选择性扫描的工作原理#

Mamba 由 Albert Gu 和 Tri Dao于 2023 年 12 月提出,它通过线性递归处理序列。对于每个通道,隐藏状态 h 按 h ← exp(Δ·A)·h + Δ·B·x 更新,并按 y = C·h 读出。在 S4 等早期 SSM 中,Δ、B 和 C 是应用于每个 token 的可学习常量。Mamba 则根据每个 token 计算这些值,让模型能够逐个决定保留多少状态、接收多少新输入;这就是选择性 SSM 中“选择性”的含义。无论序列多长,状态大小都固定;Mamba 面向硬件优化的 GPU内核会通过并行扫描计算递归,因此训练速度仍然很快。下面的 PyTorch代码片段实现了这一递归,像 Vim 一样对图像块 token 序列进行正向和反向扫描,并以两种分辨率运行:

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

对于 224×224 图像,它会输出 196 个 token;对于 448×448 图像,则会输出 784 个 token,每个 token 都映射为 192 维输出。在这两种分辨率下,扫描状态都包含 192 × 16 = 3,072 个值;而相同 token 对应的自注意力图会从 38,416 个元素增至 614,656 个元素,token 数量增加 4 倍时,元素数量增加到 16 倍。

将 Mamba 适配到图像#

图像是二维的,没有天然的阅读顺序,而单向递归会导致每个图块只能看到扫描路径中位于它之前的图块。Vision Mamba 模型通过多条扫描路径解决这个问题:

  • Vim:为图块 token 添加位置嵌入,将分类 token 放在序列中间,并让每个块中的 SSM 对序列同时进行正向和反向处理,因此每个图块都能从两侧收集上下文。论文报告称,在批量推理中从 1248×1248 图像提取特征时,Vim 的运行速度比 DeiT 视觉 Transformer 快 2.8 倍,GPU 内存占用减少 86.8%。
  • VMamba:VMamba采用二维选择性扫描,沿着图块网格的四条路径读取数据,分别按行和按列进行双向扫描,并在分层骨干网络中合并结果,输出用于检测和分割的多尺度特征图。
  • 混合模型:NVIDIA 的 MambaVision发表于 CVPR 2025,它在分层 Mamba 骨干网络的最后几层加入自注意力块;此时经过下采样,token 数量已足够少,可以进行精确的全局注意力计算。

Vim 编码器块会将归一化后的 token 分为两个分支:一个双向扫描分支和一个门控分支;门控分支会在残差连接之前缩放两种扫描的输出:

Vision Mamba、Vision Transformer 与 CNN#

  • 视觉 Transformer:自注意力以 O(N²) 的成本两两比较全部 N 个图像块令牌,并让任一图像块直接关注其他图像块。Vision Mamba 扫描的成本为 O(N),并通过固定大小的状态传递远处图像块的信息。实时检测器也会通过将注意力放在令牌较少的位置来控制注意力的二次复杂度:YOLO26将其自注意力模块限制在步幅为 32 的特征图上;对于 640×640 的输入,该特征图上只有 20 × 20 = 400 个位置。
  • 卷积神经网络(CNN):卷积会在每一层混合局部邻域信息,并通过增加网络深度和下采样构建较大的感受野,而一次 Mamba 扫描就能覆盖整幅图像。
  • 扫描是否必要?在 MambaOut中,Weihao Yu 和 Xinchao Wang 移除了 Mamba 风格模块中的 SSM,仅保留门控卷积;在他们比较的模型中,最终模型在 ImageNet 分类任务上胜过所有视觉 Mamba 模型。MambaOut 在检测和分割任务上的表现不及最佳视觉 Mamba 模型,因为更高的输入分辨率会产生更长的 token 序列;这表明扫描在处理长序列时最能发挥作用。

应用场景#

  • 医学图像分析:CT 和 MRI 体数据包含的体素远多于照片中的像素;U-Mamba 等模型会在 U-Net 风格的编码器-解码器中加入 Mamba 模块,以可控的内存开销利用全局上下文分割器官和肿瘤。
  • 视频理解:VideoMamba 将扫描扩展到时空 token,使模型能够处理长视频片段,而完整注意力处理这类视频时会因 token 数量过多而成本高昂。
  • 密集预测:目标检测和语义分割会使用高分辨率输入,这正是 Vim 的内存节省效果最明显的场景:在 1248×1248 分辨率下,采用 16×16 图块会产生 6,084 个 token,单张注意力图就包含约 3,700 万个元素。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来