Vision Mamba

Vision Mamba 代表了计算机视觉深度学习架构的重大转变，它摆脱了 Transformer 中基于注意力机制的主导地位。它是 Mamba 架构的一种改编版本——最初是为了自然语言处理中的高效序列建模而设计——专门针对视觉任务进行了定制。通过利用状态空间模型 (SSMs)，Vision Mamba 提供了一种线性复杂度的替代方案，以取代传统自注意力层的二次复杂度。这使其能够更高效地处理高分辨率图像，对于计算资源受限或必须在不占用 Vision Transformers (ViT) 所需的大量内存的情况下捕获视觉数据中长距离依赖关系的应用程序而言，它具有特别的价值。

Link to this sectionVision Mamba 的工作原理#

Vision Mamba 的核心是选择性扫描数据的概念。传统的 Convolutional Neural Networks (CNNs) 使用局部滑动窗口处理图像，这对于检测纹理和边缘非常出色，但在处理全局上下文时会遇到困难。相反，Transformer 使用全局注意力将每个像素（或补丁）与其他所有像素关联起来，这提供了出色的上下文，但随着图像分辨率的增加，计算成本会变得非常昂贵。Vision Mamba 通过将图像展平为序列并使用选择性状态空间处理它们来弥补这一差距。这使得模型能够将视觉信息压缩为固定大小的状态，从而在图像序列的长距离内保留相关细节，同时丢弃无关噪声。

该架构通常涉及双向扫描机制。由于图像是 2D 结构，不像文本那样具有内在的顺序性，Vision Mamba 会以正向和反向（有时包括不同的路径）扫描图像补丁，以确保无论扫描顺序如何，都能理解空间关系。这种方法使模型能够实现类似于 Transformer 的全局 receptive fields，但具有更快的推理速度和更低的内存使用率，在 ImageNet 等基准测试中经常能媲美最先进的结果。

Link to this section实际应用#

Vision Mamba 的高效性使其在资源受限的环境和高分辨率任务中极具相关性。

• 医学图像分析： 在放射学等领域，分析高分辨率 MRI 或 CT 扫描需要检测大型图像中可能在空间上相距甚远的细微异常。Vision Mamba 可以有效地处理这些大型 medical image analysis 文件，而不会出现通常困扰标准 Transformer 的内存瓶颈，从而协助医生以高精度识别肿瘤或骨折。
• 边缘设备上的自主导航： 自动驾驶汽车和无人机依靠 edge computing 来实时处理视频流。Vision Mamba 的线性缩放特性使得这些系统能够比笨重的 Transformer 模型更高效地处理用于 object detection 和 semantic segmentation 的高帧率视频输入，从而确保在安全关键决策中实现更快的响应时间。

Link to this sectionVision Mamba 与 Vision Transformers (ViT) 的比较#

虽然两种架构都旨在捕获全局上下文，但它们在运行方式上有着根本的不同。

• Vision Transformer (ViT)： 依赖于 attention mechanism，该机制计算每一对图像补丁之间的关系。这导致了二次复杂度 ($O(N^2)$)，这意味着图像大小加倍会使计算成本增加四倍。
• Vision Mamba： 利用状态空间模型 (SSMs) 以线性方式 ($O(N)$) 处理视觉标记。它维护一个在看到新补丁时更新的运行状态，使其能够更好地适应更高的分辨率，同时保持相当的 accuracy。

Link to this section示例：高效推理工作流程#

虽然 Vision Mamba 是一种特定的架构，但其效率原则与 Ultralytics YOLO26 等现代实时模型的目标是一致的。寻求优化视觉任务的用户可以利用 Ultralytics Platform 进行训练和部署。下面是一个使用 ultralytics 包进行推理的示例，展示了使用高度优化的视觉模型的简便性。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (optimized for speed and accuracy)
model = YOLO("yolo26n.pt")  # 'n' for nano, emphasizing efficiency

# Run inference on an image
results = model.predict("path/to/image.jpg")

# Display the results
results[0].show()

Link to this section主要优势与未来展望#

将基于 Mamba 的架构引入计算机视觉预示着向更具硬件感知能力的 AI 迈进。通过减少与 global attention 相关的计算开销，研究人员正在为在小型设备上部署先进的 AI agents 打开大门。

最近的研究，例如 VMamba 论文 以及 efficient deep learning 领域的发展，凸显了这些模型在取代从 video understanding 到 3D object detection 等各种任务中的传统骨干网的潜力。随着社区不断完善扫描策略并将其与 convolutional layers 进行集成，Vision Mamba 有望与 CNN 和 Transformer 一起成为 deep learning 工具箱中的标准组件。