Vision Mamba
Vision Mambaは、Mambaの選択的状態空間スキャンを画像パッチに適用し、線形時間でグローバルなコンテキストを混合します。Vim、VMamba、トレードオフ、コードについて解説します。
Vision Mambaは、コンピュータービジョンのバックボーン群であり、Vision Transformer(ViT)の自己アテンション層を、もともと言語などの長い系列向けに開発された選択的状態空間モデル(SSM)であるMambaに置き換えます。この名称はモデル群と、Lianghui Zhuらが2024年1月に発表し、ICML 2024で公開した同名のモデルVimの両方を指します。ViTと同様に、Vision Mambaモデルは画像をパッチに分割し、トークンの系列として扱います。系列全体の情報は、トークン数に対して計算量が線形に増加する再帰的なスキャンで混合します。自己アテンションでは各トークンを他のすべてのトークンと比較するため、計算量は二次関数的に増加します。この違いは、高解像度画像、長い動画、3D医用スキャンのように、トークン数が数千に達する場合に特に重要です。
選択的スキャンの仕組み#
2023年12月にAlbert GuとTri Daoが発表したMambaは、線形再帰で系列を処理します。各チャネルについて、隠れ状態hをh ← exp(Δ·A)·h + Δ·B·xで更新し、y = C·hとして読み出します。S4などの初期のSSMでは、Δ、B、Cは学習済みの定数であり、すべてのトークンに同じように適用されました。Mambaではこれらを各トークンから計算するため、モデルはトークンごとに、状態をどれだけ保持し、新しい入力をどれだけ取り込むかを決定できます。これが選択的SSMの「選択的」な部分です。系列の長さにかかわらず状態のサイズは一定です。また、Mambaのハードウェア対応GPUカーネルは並列スキャンで再帰計算を行うため、学習速度を維持できます。以下のPyTorchのコード例はこの再帰計算を実装し、Vimと同様に画像パッチトークンの系列を順方向と逆方向にスキャンし、2つの解像度で実行します。
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")224×224画像では196トークン、448×448画像では784トークンを出力し、それぞれを192次元の出力に写像します。スキャンの状態はどちらの解像度でも192 × 16 = 3,072個の値を保持します。一方、同じトークンに対する自己アテンションマップの要素数は38,416から614,656へ増え、トークン数が4倍になると16倍になります。
画像向けのMambaの適応#
画像は2Dであり、自然な読み取り順序がありません。また、単方向の再帰では、各パッチがスキャン済みのパッチしか参照できません。Vision Mambaモデルは複数のスキャン経路でこの問題に対処します。
- Vim: パッチトークンに位置埋め込みを追加し、系列の中央にクラス・トークンを配置します。各ブロックのSSMで系列を順方向と逆方向の両方に処理し、各パッチが両側のコンテキストを集約できるようにします。論文では、バッチ推論で1248×1248画像から特徴を抽出する際、VimはDeiTビジョンTransformerより2.8倍高速で、GPUメモリの使用量を86.8%削減すると報告されています。
- VMamba: VMambaは、パッチのグリッドを行方向と列方向の両方で順方向・逆方向に読み取る2D選択的スキャンを使います。そして、物体検出やセグメンテーション向けのマルチスケール特徴マップを出力する階層型バックボーン内で結果を統合します。
- ハイブリッド: CVPR 2025で発表されたNVIDIAのMambaVisionは、階層型Mambaバックボーンの最終層に自己アテンションブロックを追加します。ダウンサンプリングによってトークン数が十分に減少し、厳密なグローバルアテンションを適用できるためです。
Vimのエンコーダーブロックは、正規化済みのトークンを、両方向にスキャンするブランチと、スキャン結果の両方をスケーリングするゲートブランチに分割した後、残差接続を適用します。
Vision MambaとVision Transformer・CNNの比較#
- ビジョントランスフォーマー:セルフアテンションは、N個のパッチトークンすべてをO(N²)の計算量でペアごとに比較し、任意のパッチがほかの任意のパッチに直接注目できるようにします。Vision MambaのスキャンはO(N)のコストで、固定サイズの状態を通じて遠く離れたパッチ間の情報を伝えます。リアルタイム検出器も、トークン数が少ない場所にアテンションを配置して二次計算量を抑えます。YOLO26は、セルフアテンションブロックをストライド32の特徴マップに限定します。640×640の入力では、位置数は20 × 20 = 400です。
- 畳み込みニューラルネットワーク(CNN): 畳み込みは各層で局所近傍の情報を混合し、深さとダウンサンプリングを通じて大きな受容野を構築します。一方、Mambaの1回のスキャンは画像全体を対象にします。
- スキャンは必要か? Weihao YuとXinchao WangはMambaOutで、Mamba系ブロックからSSMを取り除き、ゲート付き畳み込みだけを残しました。その結果、モデルはImageNet分類で、比較対象となったすべてのビジョンMambaモデルを上回りました。MambaOutは物体検出とセグメンテーションでは最高性能のビジョンMambaモデルに及びませんでした。これらのタスクでは入力解像度が上がるとトークン系列が大幅に長くなるため、スキャンが効果を発揮するのは長い系列を扱う場合だと考えられます。
用途#
- 医用画像解析: CTやMRIのボリュームデータに含まれるボクセル数は写真の画素数をはるかに上回ります。U-Mambaなどのモデルは、U-Net型のエンコーダー・デコーダーにMambaブロックを追加し、扱いやすいメモリコストでグローバルなコンテキストを取り込みながら臓器や腫瘍をセグメンテーションします。
- 動画理解: VideoMambaはスキャンを時空間トークンに拡張し、完全なアテンションでは計算コストが高くなるほどトークン数の多い長尺クリップもモデルが処理できるようにします。
- 高密度予測: 物体検出とセマンティックセグメンテーションは高解像度の入力で実行されます。このような場合にVimのメモリ削減効果が最も大きくなります。1248×1248画像に16×16のパッチ分割を適用するとトークン数は6,084となり、それらに対する単一のアテンションマップには約3,700万個の要素が含まれます。










