Vision Mamba

Vision Mamba는 컴퓨터 비전을 위한 딥러닝 아키텍처에서 중요한 변화를 나타내며, Transformer에서 볼 수 있는 어텐션 기반 메커니즘의 우위에서 벗어나고 있습니다. 이 아키텍처는 원래 자연어 처리의 효율적인 시퀀스 모델링을 위해 설계된 Mamba 아키텍처를 시각적 작업에 맞게 특별히 조정하여 채택한 것입니다. State Space Models (SSMs)을 활용함으로써 Vision Mamba는 전통적인 자기 어텐션 레이어의 이차 복잡도에 대한 선형 복잡도 대안을 제공합니다. 이를 통해 고해상도 이미지를 보다 효율적으로 처리할 수 있으므로, 연산 리소스가 제한되거나 Vision Transformers (ViT)의 전형적인 무거운 메모리 사용량 없이 시각 데이터의 장거리 종속성을 캡처해야 하는 애플리케이션에 특히 유용합니다.

Vision Mamba의 작동 원리#

Vision Mamba의 핵심은 데이터를 선택적으로 스캔하는 개념입니다. 전통적인 Convolutional Neural Networks (CNNs)은 텍스처와 에지 감지에 탁월하지만 전역 컨텍스트 처리에는 어려움이 있는 로컬 슬라이딩 윈도우를 사용하여 이미지를 처리합니다. 반면에 Transformer는 모든 픽셀(또는 패치)을 다른 모든 픽셀과 연관시키기 위해 전역 어텐션을 사용하므로 우수한 컨텍스트를 제공하지만 이미지 해상도가 증가함에 따라 연산 비용이 비싸집니다. Vision Mamba는 이미지를 시퀀스로 평탄화하고 선택적 상태 공간을 사용하여 처리함으로써 이러한 격차를 해소합니다. 이를 통해 모델은 시각 정보를 고정 크기 상태로 압축하고, 이미지 시퀀스에서 장거리에 걸쳐 관련 세부 정보를 유지하는 동시에 관련 없는 노이즈를 폐기할 수 있습니다.

이 아키텍처는 일반적으로 양방향 스캔 메커니즘을 포함합니다. 이미지는 텍스트처럼 본질적으로 순차적이지 않고 2D 구조이므로 Vision Mamba는 스캔 순서에 관계없이 공간적 관계가 이해되도록 이미지 패치를 정방향 및 역방향(때로는 다양한 경로)으로 스캔합니다. 이 접근 방식을 통해 모델은 Transformer와 유사한 전역 receptive fields를 달성하는 동시에 더 빠른 추론 속도와 낮은 메모리 사용량을 구현할 수 있으며, ImageNet과 같은 벤치마크에서 종종 최고 수준의 결과와 경쟁합니다.

실제 애플리케이션 사례#

Vision Mamba의 효율성은 리소스가 제한된 환경과 고해상도 작업에 매우 적합합니다.

• 의료 영상 분석: 방사리학과 같은 분야에서는 고해상도 MRI 또는 CT 스캔을 분석할 때 큰 이미지 내에서 공간적으로 멀리 떨어져 있을 수 있는 미세한 이상을 감지해야 합니다. Vision Mamba는 표준 Transformer를 괴롭히는 메모리 병목 현상 없이 이러한 대규모 medical image analysis 파일을 효과적으로 처리할 수 있으므로 의사가 높은 정밀도로 종양이나 골절을 식별하는 데 도움을 줍니다.
• 엣지 장치에서의 자율 주행: 자율 주행 자동차와 드론은 edge computing에 의존하여 비디오 피드를 실시간으로 처리합니다. Vision Mamba의 선형 스케일링을 통해 이러한 시스템은 무거운 Transformer 모델보다 더 효율적으로 object detection 및 semantic segmentation을 위한 고프레임 레이트 비디오 입력을 처리할 수 있으며, 안전이 중요한 결정에 대해 더 빠른 반응 시간을 보장합니다.

Vision Mamba와 Vision Transformers (ViT) 비교#

두 아키텍처 모두 전역적인 맥락을 포착하는 것을 목표로 하지만, 작동 방식에서 근본적인 차이가 있습니다.

• Vision Transformer (ViT): 모든 이미지 패치 쌍 간의 관계를 계산하는 attention mechanism에 의존합니다. 이로 인해 이차 복잡도($O(N^2)$)가 발생하며, 이는 이미지 크기를 두 배로 늘리면 연산 비용이 네 배로 증가함을 의미합니다.
• Vision Mamba: State Space Models (SSMs)을 활용하여 시각 토큰을 선형적으로($O(N)$) 처리합니다. 새로운 패치를 볼 때 업데이트되는 실행 상태를 유지하므로 비교 가능한 accuracy를 유지하면서 더 높은 해상도에서 훨씬 더 잘 확장될 수 있습니다.

예시: 효율적인 추론 워크플로우#

Vision Mamba는 특정 아키텍처이지만 그 효율성 원칙은 Ultralytics YOLO26과 같은 현대적인 실시간 모델의 목표와 일치합니다. 최적화된 비전 작업을 찾는 사용자는 교육 및 배포를 위해 Ultralytics Platform을 활용할 수 있습니다. 아래는 ultralytics 패키지를 사용하여 추론을 실행하는 예시로, 고도로 최적화된 비전 모델 사용의 용이성을 보여줍니다.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (optimized for speed and accuracy)
model = YOLO("yolo26n.pt")  # 'n' for nano, emphasizing efficiency

# Run inference on an image
results = model.predict("path/to/image.jpg")

# Display the results
results[0].show()

주요 이점 및 향후 전망#

컴퓨터 비전에 Mamba 기반 아키텍처가 도입된 것은 하드웨어 인식 AI로의 전환을 나타냅니다. global attention과 관련된 연산 오버헤드를 줄임으로써 연구원들은 더 작은 장치에 고급 AI agents를 배포할 수 있는 길을 열어주고 있습니다.

VMamba paper 및 efficient deep learning의 발전과 같은 최근 연구는 이러한 모델이 video understanding에서 3D object detection에 이르는 작업에서 전통적인 백본을 대체할 잠재력이 있음을 강조합니다. 커뮤니티가 스캔 전략을 지속적으로 개선하고 convolutional layers와의 통합을 발전시킴에 따라, Vision Mamba는 CNN 및 Transformer와 함께 deep learning 도구 상자의 표준 구성 요소가 될 준비가 되어 있습니다.