Vision Mamba

Vision Mamba 代表了计算机视觉深度学习架构的重大转变，摆脱了 Transformer 中基于注意力机制的主导地位。它是 Mamba 架构的一种改编版本——该架构最初设计用于自然语言处理中的高效序列建模——专门针对视觉任务进行了定制。通过利用状态空间模型 (SSMs)，Vision Mamba 提供了一种线性复杂度的替代方案，用以取代传统自注意力层的二次复杂度。这使它能够更高效地处理高分辨率图像，对于计算资源受限或必须捕获视觉数据中长距离依赖关系且无需承受 Vision Transformers (ViT) 典型的高内存占用的应用场景而言，它尤为有价值。

Vision Mamba 的工作原理#

Vision Mamba 的核心是选择性扫描数据的概念。传统的 Convolutional Neural Networks (CNNs) 使用局部滑动窗口处理图像，这非常适合检测纹理和边缘，但在处理全局上下文时较为吃力。相反，Transformer 使用全局注意力将每个像素（或图块）与所有其他像素关联起来，这提供了出色的上下文，但随着图像分辨率的提高，计算成本变得非常高。Vision Mamba 通过将图像展平为序列并使用选择性状态空间进行处理，填补了这一空白。这使得模型能够将视觉信息压缩到固定大小的状态中，在图像序列的长距离内保留相关细节，同时丢弃无关噪声。

该架构通常涉及双向扫描机制。由于图像是 2D 结构，不像文本那样具有固有的顺序性，因此 Vision Mamba 会在前向和后向方向（有时是不同的路径）上扫描图像图块，以确保无论扫描顺序如何都能理解空间关系。这种方法使模型能够实现类似于 Transformer 的全局感受野，但推理速度更快、内存占用更低，并且在 ImageNet 等基准测试中往往能媲美最先进的结果。

实际应用#

Vision Mamba 的高效性使其在资源受限的环境和高分辨率任务中极具相关性。

• 医学图像分析： 在放射学等领域，分析高分辨率 MRI 或 CT 扫描需要检测大图像中可能在空间上较远微细异常。Vision Mamba 可以有效地处理这些大型医学图像分析文件，而不会出现困扰标准 Transformer 的内存瓶颈，从而协助医生以高精度识别肿瘤或骨折。
• 边缘设备上的自主导航： 自动驾驶汽车和无人机依靠边缘计算实时处理视频流。Vision Mamba 的线性缩放特性使得这些系统能够比笨重的 Transformer 模型更高效地处理用于目标检测和语义分割的高帧率视频输入，从而确保安全关键决策具有更快的反应时间。

Vision Mamba 与 Vision Transformers (ViT) 的比较#

虽然两种架构都旨在捕获全局上下文，但它们在运行方式上有着根本的不同。

• Vision Transformer (ViT)： 依赖于注意力机制，该机制计算每对图像图块之间的关系。这导致了二次复杂度（$O(N^2)$），这意味着将图像尺寸加倍会使计算成本增加四倍。
• Vision Mamba： 利用状态空间模型 (SSMs) 以线性方式 ($O(N)$) 处理视觉标记。它维护一个随着看到新图块而更新的运行状态，使其在处理更高分辨率时具有更好的扩展性，同时保持相当的准确率。

示例：高效推理工作流程#

虽然 Vision Mamba 是一种特定的架构，但其高效原则与现代实时模型（如 Ultralytics YOLO26）的目标不谋而合。寻找优化视觉任务的用户可以利用 Ultralytics Platform 进行训练和部署。以下是一个使用 ultralytics 包运行推理的示例，展示了使用高度优化的视觉模型的便捷性。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (optimized for speed and accuracy)
model = YOLO("yolo26n.pt")  # 'n' for nano, emphasizing efficiency

# Run inference on an image
results = model.predict("path/to/image.jpg")

# Display the results
results[0].show()

主要优势与未来展望#

将基于 Mamba 的架构引入计算机视觉标志着向更具硬件感知能力的 AI 迈进。通过减少与全局注意力相关的计算开销，研究人员为在较小设备上部署高级AI 智能体打开了大门。

最近的研究（例如 VMamba 论文以及高效深度学习领域的发展）突显了这些模型在从视频理解到3D 目标检测等任务中取代传统主干网络的潜力。随着社区继续完善扫描策略以及与卷积层的集成，Vision Mamba 有望成为深度学习工具箱中与 CNN 和 Transformer 并列的标准组件。