Vision Mamba
Vision Mamba는 Mamba의 선택적 상태 공간 스캔을 이미지 패치에 적용해 선형 시간으로 전역 컨텍스트를 혼합합니다. Vim, VMamba, 장단점 및 코드를 다룹니다.
Vision Mamba는 컴퓨터 비전 백본의 한 계열로, Vision Transformer(ViT)의 셀프 어텐션 레이어를 원래 언어 및 기타 긴 시퀀스를 위해 개발된 선택적 상태 공간 모델(SSM)인 Mamba로 대체합니다. 이 명칭은 이 모델 계열뿐 아니라 Lianghui Zhu와 동료들이 2024년 1월에 소개하고 ICML 2024에서 발표한 Vim 모델도 가리킵니다. ViT와 마찬가지로 Vision Mamba 모델은 이미지를 패치로 나누고 이를 토큰 시퀀스로 취급합니다. 토큰 수에 따라 비용이 선형으로 증가하는 순환 스캔으로 시퀀스 전반에 걸쳐 정보를 결합합니다. 반면 셀프 어텐션은 모든 토큰을 다른 모든 토큰과 비교하므로 비용이 제곱으로 증가합니다. 이러한 차이는 토큰 수가 수천 개에 달하는 고해상도 이미지, 긴 비디오, 3D 의료 스캔에서 가장 중요합니다.
선택적 스캔 작동 방식#
2023년 12월 Albert Gu와 Tri Dao가 소개한 Mamba는 선형 순환을 이용해 시퀀스를 처리합니다. 각 채널에서 은닉 상태 h는 h ← exp(Δ·A)·h + Δ·B·x로 갱신되고, 출력은 y = C·h로 계산됩니다. S4와 같은 초기 SSM에서는 Δ, B, C가 모든 토큰에 동일하게 적용되는 학습된 상수였습니다. Mamba는 이 값들을 각 토큰에서 계산하므로 모델이 토큰마다 상태를 얼마나 유지하고 새 입력을 얼마나 받아들일지 결정할 수 있습니다. 이것이 선택적 SSM에서 '선택적'이라는 부분입니다. 시퀀스 길이가 아무리 길어져도 상태 크기는 고정되며, Mamba의 하드웨어 인식 GPU 커널은 병렬 스캔으로 순환을 계산하므로 학습 속도를 유지합니다. 아래 PyTorch 코드 예제는 이 순환을 구현하고 Vim처럼 이미지 패치 토큰 시퀀스를 정방향과 역방향으로 스캔한 뒤 두 가지 해상도에서 실행합니다.
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")224×224 이미지에서는 토큰 196개, 448×448 이미지에서는 토큰 784개를 출력하며, 각 토큰은 192차원 출력에 매핑됩니다. 스캔 상태는 두 해상도 모두에서 192 × 16 = 3,072개의 값을 유지합니다. 반면 동일한 토큰에 대한 셀프 어텐션 맵은 38,416개 항목에서 614,656개 항목으로 증가합니다. 토큰이 4배 많아지면 16배 커지는 셈입니다.
Mamba를 이미지에 적용하기#
이미지는 2D이며 자연스러운 읽기 순서가 없습니다. 단방향 순환을 사용하면 각 패치는 자신보다 먼저 스캔된 패치만 볼 수 있습니다. Vision Mamba 모델은 여러 스캔 경로를 사용해 이 문제를 해결합니다.
- Vim: 패치 토큰에 위치 임베딩을 추가하고 시퀀스 중앙에 클래스 토큰을 배치한 뒤, 각 블록의 SSM으로 시퀀스를 정방향과 역방향 모두 처리해 각 패치가 양쪽의 문맥을 수집하도록 합니다. 논문에 따르면 Vim은 배치 추론에서 1248×1248 이미지의 특징을 추출할 때 DeiT 비전 트랜스포머보다 2.8배 빠르고 GPU 메모리는 86.8% 적게 사용합니다.
- VMamba: VMamba는 패치 그리드를 행과 열을 따라 양방향으로 읽는 2D 선택적 스캔을 사용합니다. 그런 다음 결과를 계층형 백본 내부에서 결합해 객체 감지와 세그멘테이션에 사용할 멀티스케일 특징 맵을 출력합니다.
- 하이브리드: CVPR 2025에서 발표된 NVIDIA의 MambaVision은 계층형 Mamba 백본의 마지막 레이어에 셀프 어텐션 블록을 추가합니다. 다운샘플링으로 토큰 수가 줄어 정확한 전역 어텐션을 적용할 수 있는 지점입니다.
Vim 인코더 블록은 정규화된 토큰을 양방향으로 스캔하는 분기와 두 스캔 출력을 조정하는 게이트 분기로 나눈 다음 잔차 연결을 적용합니다.
Vision Mamba와 비전 트랜스포머 및 CNN 비교#
- 비전 트랜스포머: 셀프 어텐션은 N개 패치 토큰을 O(N²) 비용으로 쌍별 비교하므로 어떤 패치든 다른 패치에 직접 주의를 기울일 수 있습니다. Vision Mamba 스캔의 비용은 O(N)이며, 고정 크기 상태를 통해 멀리 떨어진 패치 간 정보를 전달합니다. 실시간 감지기 역시 토큰 수가 적은 곳에 어텐션을 배치해 제곱 비용을 관리합니다. YOLO26은 셀프 어텐션 블록을 스트라이드 32 특징 맵에만 제한합니다. 640×640 입력에서 이 맵에는 20 × 20 = 400개 위치만 남습니다.
- 합성곱 신경망(CNN): 합성곱은 각 레이어에서 주변 영역의 정보를 결합하고 깊이와 다운샘플링을 통해 큰 수용 영역을 구축하는 반면, Mamba 스캔 하나는 이미지 전체에 걸쳐 정보를 처리합니다.
- 스캔은 꼭 필요한가요? Weihao Yu와 Xinchao Wang은 MambaOut에서 Mamba 계열 블록의 SSM을 제거하고 게이트 합성곱만 남겼으며, 그 결과 모델은 ImageNet 분류에서 비교 대상인 모든 시각 Mamba 모델보다 뛰어난 성능을 보였습니다. MambaOut은 감지 및 세그멘테이션에서는 최고 성능의 시각 Mamba 모델보다 낮은 성능을 기록했습니다. 이 작업에서는 입력 해상도가 높아져 토큰 시퀀스가 훨씬 길어집니다. 이는 긴 시퀀스에서 스캔의 이점이 가장 크다는 점을 시사합니다.
응용 분야#
- 의료 영상 분석: CT 및 MRI 볼륨에는 사진의 픽셀보다 훨씬 많은 복셀이 포함됩니다. U-Mamba와 같은 모델은 U-Net 방식의 인코더-디코더에 Mamba 블록을 추가해 적절한 메모리 사용량으로 전역 문맥을 반영하며 장기와 종양을 세그멘테이션합니다.
- 비디오 이해: VideoMamba는 스캔을 시공간 토큰으로 확장하므로, 전체 어텐션을 적용하기에는 토큰 수가 너무 많아 비용이 커지는 긴 클립도 모델이 처리할 수 있습니다.
- 밀집 예측: 객체 감지와 시맨틱 세그멘테이션은 높은 입력 해상도로 실행되므로 Vim의 메모리 절감 효과가 가장 크게 나타납니다. 1248×1248 이미지에 16×16 패치를 적용하면 토큰 6,084개가 생성되고, 이 토큰에 대한 어텐션 맵 하나에는 약 3,700만 개의 항목이 들어갑니다.










