Vision Mamba

Vision Mambaは、コンピュータービジョン向けディープラーニングアーキテクチャにおける大きな転換を示しており、Transformerに見られるアテンションベースの機構が主流だった状況から離れつつあります。自然言語処理における効率的なシーケンスモデリングのために当初設計されたMambaアーキテクチャを、視覚タスクに特化して適応させたものです。状態空間モデル (SSM)を活用するVision Mambaは、従来の自己アテンション層の二次計算量に対し、線形計算量の代替手段を提供します。そのため、高解像度画像をより効率的に処理でき、計算リソースが限られる場合や、Vision Transformer (ViT)に典型的な大きなメモリーフットプリントを伴わずに視覚データの長距離依存関係を捉える必要がある場合に特に有用です。

Vision Mambaの仕組み#

Vision Mambaの中核にあるのは、データを選択的にスキャンするという概念です。従来の畳み込みニューラルネットワーク (CNN)はローカルなスライディングウィンドウを使用して画像を処理します。テクスチャやエッジの検出には優れていますが、グローバルなコンテキストの把握は苦手です。一方、Transformerはグローバルアテンションを使って、すべてのピクセル（またはパッチ）を他のすべてのピクセルと関連付けます。優れたコンテキストを得られますが、画像解像度が高くなるほど計算コストが増大します。Vision Mambaは、画像をシーケンスに平坦化し、選択的な状態空間を使って処理することで、この隔たりを埋めます。これにより、モデルは視覚情報を固定サイズの状態に圧縮し、画像シーケンス内の長距離にわたって関連する詳細を保持しながら、無関係なノイズを破棄できます。

このアーキテクチャでは通常、双方向スキャン機構を使用します。画像は2次元構造であり、テキストのように本質的にシーケンシャルではないため、Vision Mambaは画像パッチを順方向と逆方向（場合によっては異なる経路）にスキャンし、スキャン順序にかかわらず空間的関係が理解されるようにします。このアプローチにより、Transformerに似たグローバルな受容野を、より高速な推論と少ないメモリー使用量で実現できます。また、ImageNetなどのベンチマークで最先端の結果に匹敵することもよくあります。

実際のアプリケーション#

Vision Mambaは効率性に優れているため、リソースが限られた環境や高解像度のタスクに非常に適しています。

• 医療画像解析: 放射線医学などの分野で高解像度のMRIやCTスキャンを解析するには、大きな画像内で空間的に離れている可能性のある微細な異常を検出する必要があります。Vision Mambaは、標準的なTransformerでしばしば問題となるメモリーのボトルネックを起こさずに、大容量の医療画像解析ファイルを効率的に処理できます。これにより、医師は腫瘍や骨折を高精度で特定できます。
• エッジデバイスでの自律移動: 自動運転車やドローンは、動画フィードをリアルタイムで処理するためにエッジコンピューティングに依存しています。Vision Mambaの線形スケーリングにより、これらのシステムは高フレームレートの動画入力を、重いTransformerモデルよりも効率的に処理して物体検出やセマンティックセグメンテーションを実行でき、安全性が重要な判断における反応時間を短縮できます。

Vision MambaとVision Transformer (ViT)の比較#

どちらのアーキテクチャもグローバルなコンテキストの把握を目指していますが、動作の仕組みは根本的に異なります。

• Vision Transformer (ViT): アテンション機構に依存し、画像パッチのすべての組み合わせの関係を計算します。その結果、計算量は二次 ($O(N^2)$) となり、画像サイズを2倍にすると計算コストは4倍になります。
• Vision Mamba: 状態空間モデル (SSM)を活用し、視覚トークンを線形に ($O(N)$) 処理します。新しいパッチを見るたびに更新される状態を保持するため、同程度の精度を維持しながら、高解像度へのスケーリングに優れています。

例: 効率的な推論ワークフロー#

Vision Mambaは特定のアーキテクチャですが、その効率性の原則は、Ultralytics YOLO26のような最新のリアルタイムモデルの目標と一致しています。ビジョンタスクを最適化したいユーザーは、トレーニングとデプロイにUltralytics Platformを活用できます。以下は、ultralyticsパッケージを使って推論を実行し、高度に最適化されたビジョンモデルを簡単に利用できることを示す例です。

from ultralytics import YOLO

# 事前学習済みYOLO26モデルを読み込みます（速度と精度を最適化済み）
model = YOLO("yolo26n.pt")  # 効率性を重視したnanoモデルを指定する「n」

# 画像に対して推論を実行する
results = model.predict("path/to/image.jpg")

# 結果を表示します
results[0].show()

主なメリットと今後の展望#

Mambaベースのアーキテクチャがコンピュータービジョンに導入されたことは、ハードウェアを考慮したAIへの移行を示しています。グローバルアテンションに伴う計算オーバーヘッドを削減することで、研究者は小型デバイスへの高度なAIエージェントのデプロイを可能にしつつあります。

VMamba論文や効率的なディープラーニングに関する進展など、最近の研究は、動画理解から3D物体検出まで、さまざまなタスクでこれらのモデルが従来のバックボーンに取って代わる可能性を示しています。コミュニティがスキャン戦略や畳み込み層との統合を改良し続けるなか、Vision MambaはCNNやTransformerと並び、ディープラーニングのツールボックスにおける標準的なコンポーネントになると期待されています。