Лицензия YOLO
Назад к глоссарию Ultralytics

Vision Mamba

Vision Mamba применяет выборочное сканирование пространства состояний Mamba к фрагментам изображения и смешивает глобальный контекст за линейное время. Рассматриваются Vim, VMamba, компромиссы и код.

Vision Mamba — семейство базовых моделей для компьютерного зрения, в которых слои самовнимания визуального трансформера (ViT) заменены на Mamba — селективную модель пространства состояний (SSM), изначально созданную для языка и других длинных последовательностей. Название относится и к этому классу моделей, и к Vim — модели с таким названием, которую Lianghui Zhu и его коллеги представили в январе 2024 года и опубликовали на ICML 2024. Как и ViT, модель Vision Mamba разбивает изображение на патчи и рассматривает их как последовательность токенов. Информация по этой последовательности распространяется с помощью рекуррентного прохода, вычислительная сложность которого растёт линейно с числом токенов. Самовнимание сравнивает каждый токен со всеми остальными, и его сложность растёт квадратично. Разница наиболее важна для изображений высокого разрешения, длинных видео и трёхмерных медицинских сканов, где число токенов достигает тысяч.

Как работает селективный проход#

Mamba, представленная Albert Gu и Tri Dao в декабре 2023 года, обрабатывает последовательность с помощью линейной рекуррентной функции. Для каждого канала скрытое состояние h обновляется по формуле h ← exp(Δ·A)·h + Δ·B·x, а выход вычисляется как y = C·h. В более ранних SSM, например S4, Δ, B и C были обучаемыми константами, одинаково применявшимися к каждому токену. Mamba вычисляет их отдельно для каждого токена, позволяя модели решать, какую часть состояния сохранить и сколько новой информации добавить, — в этом и заключается «селективность» селективной SSM. Размер состояния не зависит от длины последовательности, а аппаратно-оптимизированные ядра GPU Mamba вычисляют рекуррентную функцию с помощью параллельного прохода, поэтому обучение остаётся быстрым. Приведённый ниже фрагмент кода на PyTorch реализует эту рекуррентную функцию, выполняет проход по последовательности токенов патчей изображения вперёд и назад, как в Vim, и запускает его при двух разрешениях:

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

Для изображения 224×224 код выводит 196 токенов, а для изображения 448×448 — 784; каждый токен преобразуется в выходной вектор размерностью 192. Состояние прохода содержит 192 × 16 = 3072 значения при обоих разрешениях, тогда как карта самовнимания для тех же токенов увеличивается с 38 416 до 614 656 элементов — в 16 раз при росте числа токенов в 4 раза.

Адаптация Mamba для изображений#

Изображения двумерны и не имеют естественного порядка чтения, а однонаправленная рекуррентная функция позволяет каждому патчу видеть только патчи, обработанные перед ним. Модели Vision Mamba решают эту проблему с помощью нескольких траекторий прохода:

  • Vim: добавляет к токенам патчей позиционные эмбеддинги, размещает токен класса в середине последовательности и запускает SSM каждого блока по последовательности в прямом и обратном направлениях, благодаря чему каждый патч получает контекст с обеих сторон. В статье сообщается, что Vim работает в 2,8 раза быстрее визуального трансформера DeiT и использует на 86,8% меньше памяти GPU при извлечении признаков из изображений 1248×1248 в пакетном режиме инференса.
  • VMamba: VMamba использует двумерный селективный проход, который обходит сетку патчей по четырём траекториям: по строкам и столбцам в обоих направлениях. Результаты объединяются внутри иерархической базовой модели, выдающей многоуровневые карты признаков для обнаружения и сегментации.
  • Гибридные модели: MambaVision от NVIDIA, опубликованная на CVPR 2025, добавляет блоки самовнимания в последние слои иерархической базовой модели Mamba. К этому этапу понижение разрешения уменьшает число токенов настолько, что можно применить точное глобальное внимание.

Блок энкодера Vim разделяет нормализованные токены на ветвь с проходом в обоих направлениях и ветвь с управляющим сигналом. Перед остаточным соединением управляющий сигнал масштабирует выходы обоих проходов:

Vision Mamba, визуальные трансформеры и CNN#

  • Vision Transformer: механизм self-attention сравнивает все N токенов фрагментов попарно со сложностью O(N²), позволяя каждому фрагменту напрямую учитывать любой другой. Сканирование Vision Mamba имеет сложность O(N) и передаёт информацию между далёкими фрагментами через состояние фиксированного размера. Детекторы реального времени также снижают квадратичные затраты self-attention, применяя его там, где токенов мало: YOLO26 ограничивает блоки self-attention картой признаков с шагом 32, где на входе 640×640 остаётся всего 20 × 20 = 400 позиций.
  • Свёрточная нейронная сеть (CNN): свёртки объединяют локальную окрестность на каждом слое и формируют большое рецептивное поле за счёт глубины сети и понижения разрешения, а один проход Mamba охватывает всё изображение.
  • Нужен ли этот проход? В работе MambaOut Weihao Yu и Xinchao Wang удалили SSM из блоков в стиле Mamba, оставив только свёртки с управляющими сигналами. Получившиеся модели превзошли все сравнивавшиеся с ними визуальные модели Mamba в классификации на ImageNet. В задачах обнаружения и сегментации MambaOut уступила лучшим визуальным моделям Mamba, где повышенное разрешение входных данных приводит к гораздо более длинным последовательностям токенов. Это указывает на то, что проход особенно полезен для длинных последовательностей.

Применение#

  • Анализ медицинских изображений: томографические и МРТ-объёмы содержат намного больше вокселей, чем фотография — пикселей. Модели вроде U-Mamba добавляют блоки Mamba в кодировщик-декодировщик типа U-Net, чтобы сегментировать органы и опухоли с учётом глобального контекста и приемлемым расходом памяти.
  • Понимание видео: VideoMamba распространяет проход на пространственно-временные токены, позволяя модели обрабатывать длинные ролики, для которых полное внимание потребовало бы слишком много ресурсов.
  • Плотное предсказание: Обнаружение объектов и семантическая сегментация выполняются при высоком разрешении входных данных, где экономия памяти Vim особенно велика. При разрешении 1248×1248 разбиение на патчи 16×16 даёт 6084 токена, а одна карта внимания для них содержит около 37 миллионов элементов.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения