Vision Mamba
Vision Mamba применяет выборочное сканирование пространства состояний Mamba к фрагментам изображения и смешивает глобальный контекст за линейное время. Рассматриваются Vim, VMamba, компромиссы и код.
Vision Mamba — семейство базовых моделей для компьютерного зрения, в которых слои самовнимания визуального трансформера (ViT) заменены на Mamba — селективную модель пространства состояний (SSM), изначально созданную для языка и других длинных последовательностей. Название относится и к этому классу моделей, и к Vim — модели с таким названием, которую Lianghui Zhu и его коллеги представили в январе 2024 года и опубликовали на ICML 2024. Как и ViT, модель Vision Mamba разбивает изображение на патчи и рассматривает их как последовательность токенов. Информация по этой последовательности распространяется с помощью рекуррентного прохода, вычислительная сложность которого растёт линейно с числом токенов. Самовнимание сравнивает каждый токен со всеми остальными, и его сложность растёт квадратично. Разница наиболее важна для изображений высокого разрешения, длинных видео и трёхмерных медицинских сканов, где число токенов достигает тысяч.
Как работает селективный проход#
Mamba, представленная Albert Gu и Tri Dao в декабре 2023 года, обрабатывает последовательность с помощью линейной рекуррентной функции. Для каждого канала скрытое состояние h обновляется по формуле h ← exp(Δ·A)·h + Δ·B·x, а выход вычисляется как y = C·h. В более ранних SSM, например S4, Δ, B и C были обучаемыми константами, одинаково применявшимися к каждому токену. Mamba вычисляет их отдельно для каждого токена, позволяя модели решать, какую часть состояния сохранить и сколько новой информации добавить, — в этом и заключается «селективность» селективной SSM. Размер состояния не зависит от длины последовательности, а аппаратно-оптимизированные ядра GPU Mamba вычисляют рекуррентную функцию с помощью параллельного прохода, поэтому обучение остаётся быстрым. Приведённый ниже фрагмент кода на PyTorch реализует эту рекуррентную функцию, выполняет проход по последовательности токенов патчей изображения вперёд и назад, как в Vim, и запускает его при двух разрешениях:
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")Для изображения 224×224 код выводит 196 токенов, а для изображения 448×448 — 784; каждый токен преобразуется в выходной вектор размерностью 192. Состояние прохода содержит 192 × 16 = 3072 значения при обоих разрешениях, тогда как карта самовнимания для тех же токенов увеличивается с 38 416 до 614 656 элементов — в 16 раз при росте числа токенов в 4 раза.
Адаптация Mamba для изображений#
Изображения двумерны и не имеют естественного порядка чтения, а однонаправленная рекуррентная функция позволяет каждому патчу видеть только патчи, обработанные перед ним. Модели Vision Mamba решают эту проблему с помощью нескольких траекторий прохода:
- Vim: добавляет к токенам патчей позиционные эмбеддинги, размещает токен класса в середине последовательности и запускает SSM каждого блока по последовательности в прямом и обратном направлениях, благодаря чему каждый патч получает контекст с обеих сторон. В статье сообщается, что Vim работает в 2,8 раза быстрее визуального трансформера DeiT и использует на 86,8% меньше памяти GPU при извлечении признаков из изображений 1248×1248 в пакетном режиме инференса.
- VMamba: VMamba использует двумерный селективный проход, который обходит сетку патчей по четырём траекториям: по строкам и столбцам в обоих направлениях. Результаты объединяются внутри иерархической базовой модели, выдающей многоуровневые карты признаков для обнаружения и сегментации.
- Гибридные модели: MambaVision от NVIDIA, опубликованная на CVPR 2025, добавляет блоки самовнимания в последние слои иерархической базовой модели Mamba. К этому этапу понижение разрешения уменьшает число токенов настолько, что можно применить точное глобальное внимание.
Блок энкодера Vim разделяет нормализованные токены на ветвь с проходом в обоих направлениях и ветвь с управляющим сигналом. Перед остаточным соединением управляющий сигнал масштабирует выходы обоих проходов:
Vision Mamba, визуальные трансформеры и CNN#
- Vision Transformer: механизм self-attention сравнивает все N токенов фрагментов попарно со сложностью O(N²), позволяя каждому фрагменту напрямую учитывать любой другой. Сканирование Vision Mamba имеет сложность O(N) и передаёт информацию между далёкими фрагментами через состояние фиксированного размера. Детекторы реального времени также снижают квадратичные затраты self-attention, применяя его там, где токенов мало: YOLO26 ограничивает блоки self-attention картой признаков с шагом 32, где на входе 640×640 остаётся всего 20 × 20 = 400 позиций.
- Свёрточная нейронная сеть (CNN): свёртки объединяют локальную окрестность на каждом слое и формируют большое рецептивное поле за счёт глубины сети и понижения разрешения, а один проход Mamba охватывает всё изображение.
- Нужен ли этот проход? В работе MambaOut Weihao Yu и Xinchao Wang удалили SSM из блоков в стиле Mamba, оставив только свёртки с управляющими сигналами. Получившиеся модели превзошли все сравнивавшиеся с ними визуальные модели Mamba в классификации на ImageNet. В задачах обнаружения и сегментации MambaOut уступила лучшим визуальным моделям Mamba, где повышенное разрешение входных данных приводит к гораздо более длинным последовательностям токенов. Это указывает на то, что проход особенно полезен для длинных последовательностей.
Применение#
- Анализ медицинских изображений: томографические и МРТ-объёмы содержат намного больше вокселей, чем фотография — пикселей. Модели вроде U-Mamba добавляют блоки Mamba в кодировщик-декодировщик типа U-Net, чтобы сегментировать органы и опухоли с учётом глобального контекста и приемлемым расходом памяти.
- Понимание видео: VideoMamba распространяет проход на пространственно-временные токены, позволяя модели обрабатывать длинные ролики, для которых полное внимание потребовало бы слишком много ресурсов.
- Плотное предсказание: Обнаружение объектов и семантическая сегментация выполняются при высоком разрешении входных данных, где экономия памяти Vim особенно велика. При разрешении 1248×1248 разбиение на патчи 16×16 даёт 6084 токена, а одна карта внимания для них содержит около 37 миллионов элементов.










