Vision Mamba

Vision Mamba знаменует собой значительный сдвиг в архитектурах глубокого обучения для компьютерного зрения, отход от доминирующих механизмов внимания, применяемых в Transformer. Это адаптация архитектуры Mamba, изначально разработанной для эффективного моделирования последовательностей в обработке естественного языка и доработанной специально для задач компьютерного зрения. Используя модели пространства состояний (SSMs), Vision Mamba предлагает альтернативу с линейной сложностью вместо квадратичной сложности традиционных слоев самовнимания. Благодаря этому система эффективнее обрабатывает изображения высокого разрешения и особенно полезна в условиях ограниченных вычислительных ресурсов или при необходимости учитывать долгосрочные зависимости в визуальных данных без значительных затрат памяти, характерных для визуальных Transformer (ViT).

Как работает Vision Mamba#

В основе Vision Mamba лежит концепция избирательного сканирования данных. Традиционные сверточные нейронные сети (CNNs) обрабатывают изображения с помощью локальных скользящих окон. Они хорошо обнаруживают текстуры и границы, но плохо учитывают глобальный контекст. Transformer, напротив, использует глобальное внимание, чтобы соотнести каждый пиксель (или фрагмент изображения) со всеми остальными. Это обеспечивает хороший контекст, но с ростом разрешения изображения вычисления становятся затратнее. Vision Mamba устраняет этот компромисс: она преобразует изображения в последовательности и обрабатывает их с помощью избирательных пространств состояний. Благодаря этому модель сжимает визуальную информацию в состояние фиксированного размера, сохраняя важные детали на больших расстояниях в последовательности изображения и отбрасывая несущественный шум.

В этой архитектуре обычно используется механизм двунаправленного сканирования. Поскольку изображения — это двумерные структуры, которые не являются последовательностями по своей природе, как текст, Vision Mamba сканирует фрагменты изображения в прямом и обратном направлениях (а иногда и по разным траекториям), чтобы учитывать пространственные связи независимо от порядка сканирования. Такой подход позволяет модели охватывать глобальное рецептивное поле, как и Transformer, но быстрее выполнять инференс и использовать меньше памяти; нередко результаты сравнимы с лучшими на данный момент результатами на таких бенчмарках, как ImageNet.

Примеры применения в реальных условиях#

Эффективность Vision Mamba делает ее особенно актуальной для ресурсоограниченных сред и задач с высоким разрешением.

• Анализ медицинских изображений: В таких областях, как радиология, при анализе МРТ- или КТ-снимков высокого разрешения нужно обнаруживать едва заметные аномалии, которые могут находиться далеко друг от друга на большом изображении. Vision Mamba эффективно обрабатывает крупные файлы для анализа медицинских изображений без проблем с памятью, часто возникающих при работе со стандартными Transformer, и помогает врачам с высокой точностью выявлять опухоли и переломы.
• Автономная навигация на периферийных устройствах: Беспилотные автомобили и дроны используют периферийные вычисления для обработки видеопотока в реальном времени. Благодаря линейной масштабируемости Vision Mamba эти системы эффективнее обрабатывают видео с высокой частотой кадров для обнаружения объектов и семантической сегментации, чем крупные модели Transformer, и быстрее реагируют на ситуации, в которых важна безопасность.

Vision Mamba и визуальные Transformer (ViT)#

Обе архитектуры предназначены для учета глобального контекста, но работают принципиально по-разному.

• Визуальный Transformer (ViT): Использует механизм внимания, который вычисляет взаимосвязь между каждой парой фрагментов изображения. Это приводит к квадратичной сложности ($O(N^2)$): при удвоении размера изображения вычислительные затраты возрастают в четыре раза.
• Vision Mamba: Использует модели пространства состояний (SSMs) для линейной обработки визуальных токенов ($O(N)$). Модель поддерживает текущее состояние и обновляет его при поступлении новых фрагментов, поэтому она гораздо лучше масштабируется для более высокого разрешения, сохраняя сопоставимую точность.

Пример: эффективный рабочий процесс инференса#

Vision Mamba — это отдельная архитектура, но ее принципы эффективности согласуются с целями современных моделей реального времени, таких как Ultralytics YOLO26. Для оптимизации задач компьютерного зрения можно использовать Ultralytics Platform для обучения и развертывания. Ниже приведен пример инференса с помощью пакета ultralytics, который показывает, насколько просто использовать высокооптимизированные модели компьютерного зрения.

from ultralytics import YOLO

# Загрузи предварительно обученную модель YOLO26 (оптимизированную для скорости и точности)
model = YOLO("yolo26n.pt")  # 'n' для nano, упор на эффективность

# Запуск инференса на изображении
results = model.predict("path/to/image.jpg")

# Выведи результаты
results[0].show()

Ключевые преимущества и перспективы#

Появление архитектур на основе Mamba в компьютерном зрении указывает на переход к ИИ, лучше адаптированному к аппаратным возможностям. Сокращая вычислительные затраты, связанные с глобальным вниманием, исследователи открывают путь к запуску передовых ИИ-агентов на компактных устройствах.

Последние исследования, включая статью о VMamba и разработки в области эффективного глубокого обучения, показывают, что такие модели могут заменить традиционные базовые сети в задачах от понимания видео до обнаружения 3D-объектов. По мере совершенствования стратегий сканирования и интеграции со сверточными слоями Vision Mamba может стать стандартным компонентом набора инструментов для глубокого обучения наряду с CNN и Transformer.