YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Vision Mamba

Vision Mamba überträgt Mambas selektiven Zustandsraum-Scan auf Bildausschnitte und verknüpft den globalen Kontext in linearer Zeit. Behandelt werden Vim, VMamba, Abwägungen und Code.

Vision Mamba ist eine Familie von Backbones für die Computervision, bei denen die Self-Attention-Layer eines Vision-Transformers (ViT) durch Mamba ersetzt werden. Mamba ist ein selektives Zustandsraummodell (SSM), das ursprünglich für Sprache und andere lange Sequenzen entwickelt wurde. Der Name bezeichnet sowohl diese Modellklasse als auch Vim, das gleichnamige Modell von Lianghui Zhu und Kollegen, das im Januar 2024 vorgestellt und auf der ICML 2024 veröffentlicht wurde. Wie ein ViT zerlegt ein Vision-Mamba-Modell ein Bild in Patches und behandelt diese als Sequenz von Tokens. Die Informationen innerhalb dieser Sequenz werden mit einem rekurrenten Durchlauf vermischt, dessen Aufwand linear mit der Tokenzahl wächst. Bei Self-Attention wird dagegen jedes Token mit allen anderen verglichen, sodass der Aufwand quadratisch wächst. Der Unterschied ist besonders bei hochauflösenden Bildern, langen Videos und medizinischen 3D-Aufnahmen wichtig, bei denen die Zahl der Tokens in die Tausende geht.

So funktioniert der selektive Scan#

Mamba, das Albert Gu und Tri Dao im Dezember 2023 vorstellten, verarbeitet eine Sequenz mit einer linearen Rekursion. Für jeden Kanal wird ein verborgener Zustand h nach der Formel h ← exp(Δ·A)·h + Δ·B·x aktualisiert und als y = C·h ausgegeben. Bei früheren SSMs wie S4 wurden Δ, B und C als gelernte Konstanten für jedes Token identisch angewendet. Mamba berechnet diese Werte für jedes Token neu. So kann das Modell Token für Token entscheiden, wie viel seines Zustands es beibehält und wie viel der neuen Eingabe es aufnimmt – daher die Bezeichnung „selektiv“ bei einem selektiven SSM. Der Zustand hat unabhängig von der Sequenzlänge eine feste Größe. Mambas hardwareoptimierte GPU-Kernels berechnen die Rekursion mit einem parallelen Scan, sodass das Training schnell bleibt. Das folgende PyTorch-Beispiel implementiert diese Rekursion, durchläuft wie Vim eine Sequenz von Bild-Patch-Tokens vorwärts und rückwärts und führt sie mit zwei Auflösungen aus:

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

Die Ausgabe zeigt 196 Tokens für das Bild mit 224×224 Pixeln und 784 Tokens für das Bild mit 448×448 Pixeln. Jedes Token wird auf eine Ausgabe mit 192 Dimensionen abgebildet. Der Zustand des Scans umfasst bei beiden Auflösungen 192 × 16 = 3.072 Werte. Eine Self-Attention-Matrix über dieselben Tokens wächst dagegen von 38.416 auf 614.656 Einträge – also auf das 16-Fache bei einer viermal so hohen Tokenzahl.

Mamba an Bilder anpassen#

Bilder sind zweidimensional und haben keine natürliche Leserichtung. Bei einer Rekursion in nur einer Richtung sieht jedes Patch nur die Patches, die vor ihm verarbeitet wurden. Vision-Mamba-Modelle lösen dieses Problem mit mehreren Scanpfaden:

  • Vim: Fügt den Patch-Tokens Positionseinbettungen hinzu, platziert ein Klassen-Token in der Mitte der Sequenz und verarbeitet die Sequenz in jedem SSM-Block sowohl vorwärts als auch rückwärts. Dadurch erhält jedes Patch Kontext von beiden Seiten. Laut Studie ist Vim 2,8-mal schneller als der Vision-Transformer DeiT und benötigt beim Extrahieren von Merkmalen aus Bildern mit 1248×1248 Pixeln in der Stapelverarbeitung 86,8 % weniger GPU-Speicher.
  • VMamba: VMamba verwendet einen zweidimensionalen selektiven Scan, der das Patch-Raster in vier Richtungen durchläuft: zeilenweise und spaltenweise, jeweils in beide Richtungen. Die Ergebnisse werden in einem hierarchischen Backbone zusammengeführt, das Merkmalskarten auf mehreren Skalen für Erkennung und Segmentierung ausgibt.
  • Hybride: Das auf der CVPR 2025 veröffentlichte Modell MambaVision von NVIDIA ergänzt die letzten Schichten eines hierarchischen Mamba-Backbones um Blöcke zur Selbstaufmerksamkeit, in denen das Downsampling die Tokenzahl bereits so weit reduziert hat, dass exakte globale Aufmerksamkeit möglich ist.

Ein Vim-Encoderblock teilt die normalisierten Tokens in einen Zweig auf, der in beide Richtungen durchlaufen wird, und einen Gate-Zweig, der beide Scan-Ausgaben skaliert, bevor sie über eine Residualverbindung zusammengeführt werden:

Vision Mamba im Vergleich zu Vision-Transformern und CNNs#

  • Vision Transformer: Self-Attention vergleicht alle N Patch-Tokens paarweise mit einem Aufwand von O(N²) und lässt jedes Patch direkt jedem anderen Aufmerksamkeit schenken. Ein Vision-Mamba-Scan hat einen Aufwand von O(N) und leitet Informationen zwischen weit voneinander entfernten Patches über seinen Zustand fester Größe weiter. Echtzeitdetektoren begrenzen die quadratischen Kosten der Attention ebenfalls, indem sie sie dort einsetzen, wo es wenige Tokens gibt: YOLO26 beschränkt seine Self-Attention-Blöcke auf die Merkmalskarte mit Stride 32. Bei einer Eingabe von 640×640 bleiben dort nur 20 × 20 = 400 Positionen.
  • Faltungsnetzwerk (CNN): Faltungen vermischen die lokale Umgebung in jedem Layer und bauen durch Tiefe und Herunterskalieren ein großes rezeptives Feld auf. Ein einzelner Mamba-Scan erfasst dagegen das gesamte Bild.
  • Ist der Scan notwendig? In MambaOut entfernten Weihao Yu und Xinchao Wang das SSM aus Mamba-artigen Blöcken und behielten nur gesteuerte Faltungen bei. Die resultierenden Modelle übertrafen bei der Klassifizierung auf ImageNet alle visuellen Mamba-Modelle, mit denen sie verglichen wurden. Bei Erkennung und Segmentierung blieb MambaOut hinter den besten visuellen Mamba-Modellen zurück. Dort führen höhere Eingabeauflösungen zu viel längeren Token-Sequenzen. Das deutet darauf hin, dass der Scan vor allem bei langen Sequenzen Vorteile bringt.

Anwendungen#

  • Medizinische Bildanalyse: CT- und MRT-Aufnahmen enthalten viel mehr Voxel als ein Foto Pixel. Modelle wie U-Mamba ergänzen einen Encoder-Decoder nach dem U-Net-Prinzip um Mamba-Blöcke, um Organe und Tumoren mit globalem Kontext und überschaubarem Speicherbedarf zu segmentieren.
  • Videoanalyse: VideoMamba erweitert den Scan auf raumzeitliche Tokens. So kann ein Modell lange Clips verarbeiten, deren Tokenzahl eine vollständige Attention-Berechnung zu aufwendig machen würde.
  • Dichte Vorhersage: Objekterkennung und semantische Segmentierung werden mit hohen Eingabeauflösungen durchgeführt. Dort ist Vim besonders speichersparend: Bei 1248×1248 Pixeln ergeben Patches der Größe 16×16 insgesamt 6.084 Tokens. Eine einzige Attention-Matrix über diese Tokens enthält etwa 37 Millionen Einträge.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens