YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Vision Mamba

Vision Mamba는 Mamba의 선택적 상태 공간 스캔을 이미지 패치에 적용해 선형 시간으로 전역 컨텍스트를 혼합합니다. Vim, VMamba, 장단점 및 코드를 다룹니다.

Vision Mamba는 컴퓨터 비전 백본의 한 계열로, Vision Transformer(ViT)의 셀프 어텐션 레이어를 원래 언어 및 기타 긴 시퀀스를 위해 개발된 선택적 상태 공간 모델(SSM)인 Mamba로 대체합니다. 이 명칭은 이 모델 계열뿐 아니라 Lianghui Zhu와 동료들이 2024년 1월에 소개하고 ICML 2024에서 발표한 Vim 모델도 가리킵니다. ViT와 마찬가지로 Vision Mamba 모델은 이미지를 패치로 나누고 이를 토큰 시퀀스로 취급합니다. 토큰 수에 따라 비용이 선형으로 증가하는 순환 스캔으로 시퀀스 전반에 걸쳐 정보를 결합합니다. 반면 셀프 어텐션은 모든 토큰을 다른 모든 토큰과 비교하므로 비용이 제곱으로 증가합니다. 이러한 차이는 토큰 수가 수천 개에 달하는 고해상도 이미지, 긴 비디오, 3D 의료 스캔에서 가장 중요합니다.

선택적 스캔 작동 방식#

2023년 12월 Albert Gu와 Tri Dao가 소개한 Mamba는 선형 순환을 이용해 시퀀스를 처리합니다. 각 채널에서 은닉 상태 h는 h ← exp(Δ·A)·h + Δ·B·x로 갱신되고, 출력은 y = C·h로 계산됩니다. S4와 같은 초기 SSM에서는 Δ, B, C가 모든 토큰에 동일하게 적용되는 학습된 상수였습니다. Mamba는 이 값들을 각 토큰에서 계산하므로 모델이 토큰마다 상태를 얼마나 유지하고 새 입력을 얼마나 받아들일지 결정할 수 있습니다. 이것이 선택적 SSM에서 '선택적'이라는 부분입니다. 시퀀스 길이가 아무리 길어져도 상태 크기는 고정되며, Mamba의 하드웨어 인식 GPU 커널은 병렬 스캔으로 순환을 계산하므로 학습 속도를 유지합니다. 아래 PyTorch 코드 예제는 이 순환을 구현하고 Vim처럼 이미지 패치 토큰 시퀀스를 정방향과 역방향으로 스캔한 뒤 두 가지 해상도에서 실행합니다.

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

224×224 이미지에서는 토큰 196개, 448×448 이미지에서는 토큰 784개를 출력하며, 각 토큰은 192차원 출력에 매핑됩니다. 스캔 상태는 두 해상도 모두에서 192 × 16 = 3,072개의 값을 유지합니다. 반면 동일한 토큰에 대한 셀프 어텐션 맵은 38,416개 항목에서 614,656개 항목으로 증가합니다. 토큰이 4배 많아지면 16배 커지는 셈입니다.

Mamba를 이미지에 적용하기#

이미지는 2D이며 자연스러운 읽기 순서가 없습니다. 단방향 순환을 사용하면 각 패치는 자신보다 먼저 스캔된 패치만 볼 수 있습니다. Vision Mamba 모델은 여러 스캔 경로를 사용해 이 문제를 해결합니다.

  • Vim: 패치 토큰에 위치 임베딩을 추가하고 시퀀스 중앙에 클래스 토큰을 배치한 뒤, 각 블록의 SSM으로 시퀀스를 정방향과 역방향 모두 처리해 각 패치가 양쪽의 문맥을 수집하도록 합니다. 논문에 따르면 Vim은 배치 추론에서 1248×1248 이미지의 특징을 추출할 때 DeiT 비전 트랜스포머보다 2.8배 빠르고 GPU 메모리는 86.8% 적게 사용합니다.
  • VMamba: VMamba는 패치 그리드를 행과 열을 따라 양방향으로 읽는 2D 선택적 스캔을 사용합니다. 그런 다음 결과를 계층형 백본 내부에서 결합해 객체 감지와 세그멘테이션에 사용할 멀티스케일 특징 맵을 출력합니다.
  • 하이브리드: CVPR 2025에서 발표된 NVIDIA의 MambaVision은 계층형 Mamba 백본의 마지막 레이어에 셀프 어텐션 블록을 추가합니다. 다운샘플링으로 토큰 수가 줄어 정확한 전역 어텐션을 적용할 수 있는 지점입니다.

Vim 인코더 블록은 정규화된 토큰을 양방향으로 스캔하는 분기와 두 스캔 출력을 조정하는 게이트 분기로 나눈 다음 잔차 연결을 적용합니다.

Vision Mamba와 비전 트랜스포머 및 CNN 비교#

  • 비전 트랜스포머: 셀프 어텐션은 N개 패치 토큰을 O(N²) 비용으로 쌍별 비교하므로 어떤 패치든 다른 패치에 직접 주의를 기울일 수 있습니다. Vision Mamba 스캔의 비용은 O(N)이며, 고정 크기 상태를 통해 멀리 떨어진 패치 간 정보를 전달합니다. 실시간 감지기 역시 토큰 수가 적은 곳에 어텐션을 배치해 제곱 비용을 관리합니다. YOLO26은 셀프 어텐션 블록을 스트라이드 32 특징 맵에만 제한합니다. 640×640 입력에서 이 맵에는 20 × 20 = 400개 위치만 남습니다.
  • 합성곱 신경망(CNN): 합성곱은 각 레이어에서 주변 영역의 정보를 결합하고 깊이와 다운샘플링을 통해 큰 수용 영역을 구축하는 반면, Mamba 스캔 하나는 이미지 전체에 걸쳐 정보를 처리합니다.
  • 스캔은 꼭 필요한가요? Weihao Yu와 Xinchao Wang은 MambaOut에서 Mamba 계열 블록의 SSM을 제거하고 게이트 합성곱만 남겼으며, 그 결과 모델은 ImageNet 분류에서 비교 대상인 모든 시각 Mamba 모델보다 뛰어난 성능을 보였습니다. MambaOut은 감지 및 세그멘테이션에서는 최고 성능의 시각 Mamba 모델보다 낮은 성능을 기록했습니다. 이 작업에서는 입력 해상도가 높아져 토큰 시퀀스가 훨씬 길어집니다. 이는 긴 시퀀스에서 스캔의 이점이 가장 크다는 점을 시사합니다.

응용 분야#

  • 의료 영상 분석: CT 및 MRI 볼륨에는 사진의 픽셀보다 훨씬 많은 복셀이 포함됩니다. U-Mamba와 같은 모델은 U-Net 방식의 인코더-디코더에 Mamba 블록을 추가해 적절한 메모리 사용량으로 전역 문맥을 반영하며 장기와 종양을 세그멘테이션합니다.
  • 비디오 이해: VideoMamba는 스캔을 시공간 토큰으로 확장하므로, 전체 어텐션을 적용하기에는 토큰 수가 너무 많아 비용이 커지는 긴 클립도 모델이 처리할 수 있습니다.
  • 밀집 예측: 객체 감지와 시맨틱 세그멘테이션은 높은 입력 해상도로 실행되므로 Vim의 메모리 절감 효과가 가장 크게 나타납니다. 1248×1248 이미지에 16×16 패치를 적용하면 토큰 6,084개가 생성되고, 이 토큰에 대한 어텐션 맵 하나에는 약 3,700만 개의 항목이 들어갑니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요