Vision Mamba

Vision Mambaは、コンピュータビジョンにおけるディープラーニングアーキテクチャの大きな転換点であり、Transformerに見られるアテンションベースのメカニズムの優位性からの脱却を表しています。これは、元々は自然言語処理における効率的なシーケンスモデリング用に設計されたMambaアーキテクチャを、視覚的タスク向けに特別に調整した適応版です。状態空間モデル（SSM）を活用することで、Vision Mambaは、従来の自己アテンションレイヤーの持つ二次複雑性に対する、線形複雑性の代替手段を提供します。これにより、高解像度の画像をより効率的に処理できるようになり、計算リソースが制限されているアプリケーションや、Vision Transformers (ViT)の典型的な重いメモリフットプリントなしで視覚データの長距離依存関係を捉える必要がある場合に、特に価値を発揮します。

Vision Mambaの仕組み#

Vision Mambaの中心にあるのは、データを選択的にスキャンするという概念です。従来のConvolutional Neural Networks (CNNs)は局所的なスライディングウィンドウを使用して画像を処理します。これはテクスチャやエッジの検出には優れていますが、大域的なコンテキストの処理には苦戦します。逆に、Transformerは大域的アテンションを使用してすべてのピクセル（またはパッチ）を他のすべてのピクセルに関連付けるため、優れたコンテキストを提供しますが、画像解像度が上がるにつれて計算コストが高くなります。Vision Mambaは、画像をシーケンスに平坦化し、選択的状態空間を使用して処理することで、このギャップを埋めます。これにより、モデルは視覚情報を固定サイズの状態に圧縮し、画像シーケンス内の長距離にわたる関連詳細を保持しながら、無関係なノイズを破棄することができます。

アーキテクチャには通常、双方向スキャンメカニズムが含まれます。画像はテキストのように本質的にシーケンシャルではなく2D構造であるため、Vision Mambaは画像パッチを順方向および逆方向（場合によってはさまざまなパス）でスキャンし、スキャン順序に関係なく空間関係が確実に理解されるようにします。このアプローチにより、モデルはTransformerと同様の大域的なreceptive fieldsを達成しつつ、より高速な推論速度と低いメモリ使用量を実現し、ImageNetなどのベンチマークで最先端の結果に匹敵することがよくあります。

実社会での応用#

Vision Mambaの効率性は、リソースが制限された環境や高解像度のタスクにおいて非常に重要です。

• 医療画像分析: 放射線科などの分野では、高解像度のMRIやCTスキャンの分析において、大きな画像の中で空間的に離れている可能性のある微小な異常を検出する必要があります。Vision Mambaは、標準的なTransformerを悩ませることが多いメモリのボトルネックなしに、これらの大規模なmedical image analysisファイルを効果的に処理し、医師が腫瘍や骨折を高精度で特定するのを支援します。
• エッジデバイスでの自律ナビゲーション: 自動運転車やドローンは、edge computingに依存してビデオフィードをリアルタイムで処理します。Vision Mambaの線形スケーリングにより、これらのシステムは、重いTransformerモデルよりも効率的にobject detectionやsemantic segmentationの高フレームレートビデオ入力を処理でき、安全性が重要な意思決定のためのより迅速な反応時間を確保できます。

Vision Mamba対Vision Transformers (ViT)#

どちらのアーキテクチャもグローバルなコンテキストを捉えることを目的としていますが、動作には根本的な違いがあります。

• Vision Transformer (ViT): すべての画像パッチのペア間の関係を計算するattention mechanismに依存しています。これにより二次複雑性（$O(N^2)$）が発生し、画像サイズを2倍にすると計算コストが4倍になることを意味します。
• Vision Mamba: 状態空間モデル（SSM）を利用して、視覚トークンを線形的に処理します（$O(N)$）。新しいパッチを確認するにつれて更新される実行状態を維持し、同等のaccuracyを維持しながら、より高い解像度で大幅に優れたスケーリングを可能にします。

例：効率的な推論ワークフロー#

Vision Mambaは特定のアーキテクチャですが、その効率性の原則は、Ultralytics YOLO26のような現代のリアルタイムモデルの目標と一致しています。最適化されたビジョンタスクを求めているユーザーは、トレーニングとデプロイにUltralytics Platformを活用できます。以下は、ultralyticsパッケージを使用して推論を実行し、高度に最適化されたビジョンモデルの使用の容易さを示す例です。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (optimized for speed and accuracy)
model = YOLO("yolo26n.pt")  # 'n' for nano, emphasizing efficiency

# Run inference on an image
results = model.predict("path/to/image.jpg")

# Display the results
results[0].show()

主な利点と将来の展望#

コンピュータビジョンへのMambaベースのアーキテクチャの導入は、よりハードウェアを意識したAIへの移行を示しています。global attentionに関連する計算オーバーヘッドを削減することにより、研究者は小型デバイスへの高度なAI agentsのデプロイへの扉を開いています。

VMamba paperやefficient deep learningの進展などの最近の研究は、video understandingから3D object detectionに及ぶタスクにおいて、これらのモデルが従来のバックボーンを置き換える可能性を強調しています。コミュニティがスキャン戦略の洗練とconvolutional layersとの統合を続けるにつれて、Vision MambaはCNNやTransformerとともにdeep learningツールボックスの標準的なコンポーネントになる態勢を整えています。