YOLOのライセンス
Ultralytics用語集に戻る

Vision Mamba

Vision Mambaは、Mambaの選択的状態空間スキャンを画像パッチに適用し、線形時間でグローバルなコンテキストを混合します。Vim、VMamba、トレードオフ、コードについて解説します。

Vision Mambaは、コンピュータービジョンのバックボーン群であり、Vision Transformer(ViT)の自己アテンション層を、もともと言語などの長い系列向けに開発された選択的状態空間モデル(SSM)であるMambaに置き換えます。この名称はモデル群と、Lianghui Zhuらが2024年1月に発表し、ICML 2024で公開した同名のモデルVimの両方を指します。ViTと同様に、Vision Mambaモデルは画像をパッチに分割し、トークンの系列として扱います。系列全体の情報は、トークン数に対して計算量が線形に増加する再帰的なスキャンで混合します。自己アテンションでは各トークンを他のすべてのトークンと比較するため、計算量は二次関数的に増加します。この違いは、高解像度画像、長い動画、3D医用スキャンのように、トークン数が数千に達する場合に特に重要です。

選択的スキャンの仕組み#

2023年12月にAlbert GuとTri Daoが発表したMambaは、線形再帰で系列を処理します。各チャネルについて、隠れ状態hをh ← exp(Δ·A)·h + Δ·B·xで更新し、y = C·hとして読み出します。S4などの初期のSSMでは、Δ、B、Cは学習済みの定数であり、すべてのトークンに同じように適用されました。Mambaではこれらを各トークンから計算するため、モデルはトークンごとに、状態をどれだけ保持し、新しい入力をどれだけ取り込むかを決定できます。これが選択的SSMの「選択的」な部分です。系列の長さにかかわらず状態のサイズは一定です。また、Mambaのハードウェア対応GPUカーネルは並列スキャンで再帰計算を行うため、学習速度を維持できます。以下のPyTorchのコード例はこの再帰計算を実装し、Vimと同様に画像パッチトークンの系列を順方向と逆方向にスキャンし、2つの解像度で実行します。

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

224×224画像では196トークン、448×448画像では784トークンを出力し、それぞれを192次元の出力に写像します。スキャンの状態はどちらの解像度でも192 × 16 = 3,072個の値を保持します。一方、同じトークンに対する自己アテンションマップの要素数は38,416から614,656へ増え、トークン数が4倍になると16倍になります。

画像向けのMambaの適応#

画像は2Dであり、自然な読み取り順序がありません。また、単方向の再帰では、各パッチがスキャン済みのパッチしか参照できません。Vision Mambaモデルは複数のスキャン経路でこの問題に対処します。

  • Vim: パッチトークンに位置埋め込みを追加し、系列の中央にクラス・トークンを配置します。各ブロックのSSMで系列を順方向と逆方向の両方に処理し、各パッチが両側のコンテキストを集約できるようにします。論文では、バッチ推論で1248×1248画像から特徴を抽出する際、VimはDeiTビジョンTransformerより2.8倍高速で、GPUメモリの使用量を86.8%削減すると報告されています。
  • VMamba: VMambaは、パッチのグリッドを行方向と列方向の両方で順方向・逆方向に読み取る2D選択的スキャンを使います。そして、物体検出やセグメンテーション向けのマルチスケール特徴マップを出力する階層型バックボーン内で結果を統合します。
  • ハイブリッド: CVPR 2025で発表されたNVIDIAのMambaVisionは、階層型Mambaバックボーンの最終層に自己アテンションブロックを追加します。ダウンサンプリングによってトークン数が十分に減少し、厳密なグローバルアテンションを適用できるためです。

Vimのエンコーダーブロックは、正規化済みのトークンを、両方向にスキャンするブランチと、スキャン結果の両方をスケーリングするゲートブランチに分割した後、残差接続を適用します。

Vision MambaとVision Transformer・CNNの比較#

  • ビジョントランスフォーマー:セルフアテンションは、N個のパッチトークンすべてをO(N²)の計算量でペアごとに比較し、任意のパッチがほかの任意のパッチに直接注目できるようにします。Vision MambaのスキャンはO(N)のコストで、固定サイズの状態を通じて遠く離れたパッチ間の情報を伝えます。リアルタイム検出器も、トークン数が少ない場所にアテンションを配置して二次計算量を抑えます。YOLO26は、セルフアテンションブロックをストライド32の特徴マップに限定します。640×640の入力では、位置数は20 × 20 = 400です。
  • 畳み込みニューラルネットワーク(CNN): 畳み込みは各層で局所近傍の情報を混合し、深さとダウンサンプリングを通じて大きな受容野を構築します。一方、Mambaの1回のスキャンは画像全体を対象にします。
  • スキャンは必要か? Weihao YuとXinchao WangはMambaOutで、Mamba系ブロックからSSMを取り除き、ゲート付き畳み込みだけを残しました。その結果、モデルはImageNet分類で、比較対象となったすべてのビジョンMambaモデルを上回りました。MambaOutは物体検出とセグメンテーションでは最高性能のビジョンMambaモデルに及びませんでした。これらのタスクでは入力解像度が上がるとトークン系列が大幅に長くなるため、スキャンが効果を発揮するのは長い系列を扱う場合だと考えられます。

用途#

  • 医用画像解析: CTやMRIのボリュームデータに含まれるボクセル数は写真の画素数をはるかに上回ります。U-Mambaなどのモデルは、U-Net型のエンコーダー・デコーダーにMambaブロックを追加し、扱いやすいメモリコストでグローバルなコンテキストを取り込みながら臓器や腫瘍をセグメンテーションします。
  • 動画理解: VideoMambaはスキャンを時空間トークンに拡張し、完全なアテンションでは計算コストが高くなるほどトークン数の多い長尺クリップもモデルが処理できるようにします。
  • 高密度予測: 物体検出とセマンティックセグメンテーションは高解像度の入力で実行されます。このような場合にVimのメモリ削減効果が最も大きくなります。1248×1248画像に16×16のパッチ分割を適用するとトークン数は6,084となり、それらに対する単一のアテンションマップには約3,700万個の要素が含まれます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう