Vision Mamba

Vision Mamba представляет собой значительный сдвиг в архитектурах глубокого обучения для компьютерного зрения, отходя от доминирования механизмов внимания, используемых в Transformer. Это адаптация архитектуры Mamba, изначально разработанной для эффективного моделирования последовательностей в обработке естественного языка, специально адаптированная для визуальных задач. Используя модели пространства состояний (SSM), Vision Mamba предлагает альтернативу с линейной сложностью квадратичной сложности традиционных слоев самовнимания. Это позволяет эффективнее обрабатывать изображения высокого разрешения, что делает модель особенно ценной для приложений, где вычислительные ресурсы ограничены или где необходимо улавливать долгосрочные зависимости в визуальных данных без значительных затрат памяти, характерных для Vision Transformers (ViT).

Link to this sectionКак работает Vision Mamba#

В основе Vision Mamba лежит концепция селективного сканирования данных. Традиционные Convolutional Neural Networks (CNNs) обрабатывают изображения с помощью локальных скользящих окон, которые отлично подходят для обнаружения текстур и краев, но с трудом справляются с глобальным контекстом. Напротив, Transformer используют глобальное внимание для сопоставления каждого пикселя (или патча) с каждым другим пикселем, что обеспечивает отличный контекст, но становится вычислительно затратным по мере увеличения разрешения изображения. Vision Mamba преодолевает этот разрыв, преобразуя изображения в последовательности и обрабатывая их с помощью селективных пространств состояний. Это позволяет модели сжимать визуальную информацию в состояние фиксированного размера, сохраняя релевантные детали на больших расстояниях в последовательности изображения и отсеивая при этом лишний шум.

Архитектура обычно включает механизм двунаправленного сканирования. Поскольку изображения являются 2D-структурами, а не последовательными по своей природе, как текст, Vision Mamba сканирует патчи изображения в прямом и обратном направлениях (а иногда и по разным путям), чтобы гарантировать понимание пространственных отношений независимо от порядка сканирования. Этот подход позволяет модели достигать глобальных receptive fields, как у Transformer, но с более высокой скоростью вывода и меньшим использованием памяти, часто конкурируя с лучшими результатами на таких бенчмарках, как ImageNet.

Link to this sectionРеальные приложения#

Эффективность Vision Mamba делает её крайне актуальной для сред с ограниченными ресурсами и задач с высоким разрешением.

• Анализ медицинских изображений: В таких областях, как радиология, анализ МРТ или КТ-сканов высокого разрешения требует обнаружения тонких аномалий, которые могут быть пространственно удалены друг от друга в рамках большого изображения. Vision Mamba способна эффективно обрабатывать такие большие файлы medical image analysis без узких мест в памяти, которые часто препятствуют работе стандартных Transformer, помогая врачам выявлять опухоли или переломы с высокой точностью.
• Автономная навигация на периферийных устройствах: Беспилотные автомобили и дроны полагаются на edge computing для обработки видеопотоков в реальном времени. Линейное масштабирование Vision Mamba позволяет этим системам обрабатывать входные видеоданные с высокой частотой кадров для задач object detection и semantic segmentation эффективнее, чем тяжелые модели Transformer, обеспечивая более быстрое время реакции для принятия критически важных решений безопасности.

Link to this sectionVision Mamba против Vision Transformers (ViT)#

Хотя обе архитектуры нацелены на захват глобального контекста, они фундаментально различаются в работе.

• Vision Transformer (ViT): Основан на attention mechanism, который вычисляет взаимосвязь между каждой парой патчей изображения. Это приводит к квадратичной сложности ($O(N^2)$), что означает, что удвоение размера изображения увеличивает вычислительные затраты в четыре раза.
• Vision Mamba: Использует модели пространства состояний (SSMs) для обработки визуальных токенов линейно ($O(N)$). Модель поддерживает текущее состояние, которое обновляется по мере появления новых патчей, что позволяет ей гораздо лучше масштабироваться с повышением разрешения при сохранении сопоставимой accuracy.

Link to this sectionПример: эффективный рабочий процесс вывода#

Хотя Vision Mamba является специфической архитектурой, её принципы эффективности соответствуют целям современных моделей реального времени, таких как Ultralytics YOLO26. Пользователи, ищущие оптимизированные решения для задач компьютерного зрения, могут использовать Ultralytics Platform для обучения и развертывания. Ниже приведен пример использования пакета ultralytics для запуска вывода, демонстрирующий простоту использования высокооптимизированных моделей компьютерного зрения.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (optimized for speed and accuracy)
model = YOLO("yolo26n.pt")  # 'n' for nano, emphasizing efficiency

# Run inference on an image
results = model.predict("path/to/image.jpg")

# Display the results
results[0].show()

Link to this sectionКлючевые преимущества и перспективы#

Внедрение архитектур на базе Mamba в компьютерное зрение знаменует переход к более аппаратно-ориентированному ИИ. Снижая вычислительные затраты, связанные с global attention, исследователи открывают возможности для развертывания передовых AI agents на компактных устройствах.

Недавние исследования, такие как статья о VMamba и разработки в области efficient deep learning, подчеркивают потенциал этих моделей для замены традиционных бэкбонов в задачах от video understanding до 3D object detection. По мере того, как сообщество продолжает совершенствовать стратегии сканирования и интеграцию с convolutional layers, Vision Mamba готовится стать стандартным компонентом в инструментарии deep learning наряду с CNN и Transformer.