Vision Mamba

Vision Mamba представляет собой значительный сдвиг в архитектурах глубокого обучения для компьютерного зрения, отходя от доминирования механизмов внимания, встречающихся в Transformer. Это адаптация архитектуры Mamba, изначально разработанной для эффективного моделирования последовательностей в обработке естественного языка, специально адаптированная для визуальных задач. Используя модели пространства состояний (SSMs), Vision Mamba предлагает альтернативу с линейной сложностью квадратичной сложности традиционных слоев самовнимания. Это позволяет ей более эффективно обрабатывать изображения высокого разрешения, что делает ее особенно ценной для приложений, где вычислительные ресурсы ограничены или где необходимо фиксировать долгосрочные зависимости в визуальных данных без больших затрат памяти, типичных для Vision Transformers (ViT).

Как работает Vision Mamba#

В основе Vision Mamba лежит концепция выборочного сканирования данных. Традиционные Convolutional Neural Networks (CNNs) обрабатывают изображения с помощью локальных скользящих окон, которые отлично подходят для обнаружения текстур и границ, но с трудом справляются с глобальным контекстом. Напротив, Transformer используют глобальное внимание, чтобы связать каждый пиксель (или патч) с каждым другим пикселем, что обеспечивает отличный контекст, но становится вычислительно затратным по мере увеличения разрешения изображения. Vision Mamba устраняет этот разрыв, преобразуя изображения в плоские последовательности и обрабатывая их с использованием избирательных пространств состояний. Это позволяет модели сжимать визуальную информацию в состояние фиксированного размера, сохраняя релевантные детали на больших расстояниях в последовательности изображения и отбрасывая нерелевантный шум.

Архитектура обычно включает механизм двунаправленного сканирования. Поскольку изображения представляют собой двумерные структуры и не являются по своей сути последовательными, как текст, Vision Mamba сканирует патчи изображения в прямом и обратном направлениях (а иногда и по разным путям), чтобы гарантировать понимание пространственных связей независимо от порядка сканирования. Такой подход позволяет модели достигать глобальных receptive fields, аналогичных Transformer, но с более высокой скоростью инференса и меньшим объемом используемой памяти, часто конкурируя с передовыми результатами на таких бенчмарках, как ImageNet.

Реальные приложения#

Эффективность Vision Mamba делает её крайне актуальной для сред с ограниченными ресурсами и задач с высоким разрешением.

• Анализ медицинских изображений: В таких областях, как радиология, анализ МРТ или КТ сканирования высокого разрешения требует обнаружения тонких аномалий, которые могут быть пространственно удалены в пределах большого изображения. Vision Mamba может эффективно обрабатывать эти крупные файлы medical image analysis без узких мест в памяти, которые часто присущи стандартным Transformer, помогая врачам с высокой точностью выявлять опухоли или переломы.
• Автономная навигация на периферийных устройствах: Беспилотные автомобили и дроны полагаются на edge computing для обработки видеопотоков в реальном времени. Линейное масштабирование Vision Mamba позволяет этим системам обрабатывать видеовход с высокой частотой кадров для object detection и semantic segmentation более эффективно, чем тяжелые модели Transformer, обеспечивая более быстрое время реакции для критически важных для безопасности решений.

Vision Mamba против Vision Transformers (ViT)#

Хотя обе архитектуры нацелены на захват глобального контекста, они фундаментально различаются в работе.

• Vision Transformer (ViT): Опирается на attention mechanism, который вычисляет взаимосвязь между каждой парой патчей изображения. Это приводит к квадратичной сложности ($O(N^2)$), что означает, что удвоение размера изображения увеличивает вычислительные затраты в четыре раза.
• Vision Mamba: Использует модели пространства состояний (SSMs) для линейной обработки визуальных токенов ($O(N)$). Она поддерживает текущее состояние, которое обновляется по мере появления новых патчей, что позволяет ей гораздо лучше масштабироваться при более высоких разрешениях при сохранении сопоставимой accuracy.

Пример: эффективный рабочий процесс вывода#

Хотя Vision Mamba является специфической архитектурой, ее принципы эффективности согласуются с целями современных моделей реального времени, таких как Ultralytics YOLO26. Пользователи, ищущие оптимизированные задачи компьютерного зрения, могут использовать Ultralytics Platform для обучения и развертывания. Ниже приведен пример использования пакета ultralytics для запуска инференса, демонстрирующий простоту использования высокооптимизированных моделей компьютерного зрения.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (optimized for speed and accuracy)
model = YOLO("yolo26n.pt")  # 'n' for nano, emphasizing efficiency

# Run inference on an image
results = model.predict("path/to/image.jpg")

# Display the results
results[0].show()

Ключевые преимущества и перспективы#

Внедрение архитектур на базе Mamba в компьютерное зрение сигнализирует о движении в сторону ИИ, более учитывающего особенности аппаратного обеспечения. Снижая вычислительные затраты, связанные с global attention, исследователи открывают возможности для развертывания продвинутых AI agents на более мелких устройствах.

Недавние исследования, такие как VMamba paper и разработки в области efficient deep learning, подчеркивают потенциал этих моделей для замены традиционных бэкбонов в задачах от video understanding до 3D object detection. Поскольку сообщество продолжает совершенствовать стратегии сканирования и интеграцию с convolutional layers, Vision Mamba готова стать стандартным компонентом в наборе инструментов deep learning наряду с CNN и Transformer.