Vision Mamba
Vision Mamba aplica a varredura seletiva de espaço de estados do Mamba a patches de imagem, combinando contexto global em tempo linear. Abrange Vim, VMamba, vantagens e desvantagens e código.
Vision Mamba é uma família de backbones de visão computacional que substituem as camadas de autoatenção de um Vision Transformer (ViT) por Mamba, um modelo de espaço de estados (SSM) seletivo, originalmente criado para linguagem e outras sequências longas. O nome se refere tanto a essa classe de modelos quanto ao Vim, modelo com esse nome apresentado por Lianghui Zhu e colegas em janeiro de 2024 e publicado no ICML 2024. Como um ViT, um modelo Vision Mamba divide uma imagem em blocos e os trata como uma sequência de tokens. Ele combina informações ao longo dessa sequência com uma varredura recorrente, cujo custo cresce linearmente com o número de tokens; a autoatenção, por sua vez, compara cada token com todos os outros, a um custo que cresce quadraticamente. A diferença é mais importante em imagens de alta resolução, vídeos longos e exames médicos 3D, nos quais a quantidade de tokens chega aos milhares.
Como funciona a varredura seletiva#
Mamba, apresentado por Albert Gu e Tri Dao em dezembro de 2023, processa uma sequência por meio de uma recorrência linear. Para cada canal, um estado oculto h é atualizado como h ← exp(Δ·A)·h + Δ·B·x e a saída é obtida como y = C·h. Em SSMs anteriores, como o S4, Δ, B e C eram constantes aprendidas aplicadas de forma idêntica a cada token. Mamba calcula esses valores a partir de cada token, o que permite que o modelo decida, token por token, quanto do seu estado manter e quanto da nova entrada incorporar — essa é a parte “seletiva” de um SSM seletivo. O estado tem tamanho fixo, independentemente do comprimento da sequência, e os kernels de GPU do Mamba, desenvolvidos levando o hardware em conta, calculam a recorrência com uma varredura paralela, mantendo o treinamento rápido. O trecho de código em PyTorch abaixo implementa essa recorrência, percorre uma sequência de tokens de patches de imagem para a frente e para trás, como faz o Vim, e executa esse processamento em duas resoluções:
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")Ele imprime 196 tokens para a imagem de 224×224 e 784 para a imagem de 448×448, cada um mapeado para uma saída de 192 dimensões. O estado da varredura contém 192 × 16 = 3.072 valores em ambas as resoluções, enquanto um mapa de autoatenção sobre os mesmos tokens cresce de 38.416 para 614.656 entradas, 16 vezes mais para 4 vezes mais tokens.
Adaptando Mamba a imagens#
Imagens são bidimensionais e não têm uma ordem de leitura natural; uma recorrência unidirecional permite que cada bloco veja apenas os blocos percorridos antes dele. Os modelos Vision Mamba resolvem isso com vários caminhos de varredura:
- Vim: Adiciona incorporações posicionais aos tokens de blocos, coloca um token de classe no meio da sequência e percorre a sequência para a frente e para trás com o SSM de cada bloco, permitindo que cada bloco reúna contexto dos dois lados. O artigo relata que o Vim é 2,8 vezes mais rápido que o transformer de visão DeiT e usa 86,8% menos memória de GPU ao extrair características de imagens de 1248×1248 em inferência em lote.
- VMamba: O VMamba usa uma varredura seletiva 2D que percorre a grade de blocos por quatro caminhos, linha por linha e coluna por coluna, em ambas as direções, e combina os resultados em um backbone hierárquico que produz mapas de características multiescala para detecção e segmentação.
- Híbridos: O MambaVision da NVIDIA, publicado na CVPR 2025, adiciona blocos de autoatenção às camadas finais de um backbone Mamba hierárquico, onde a redução da resolução já tornou pequeno o suficiente o número de tokens para permitir atenção global exata.
Um bloco codificador Vim divide os tokens normalizados em um ramo percorrido nas duas direções e um ramo de gate, que dimensiona as duas saídas da varredura antes de uma conexão residual:
Vision Mamba, Vision Transformers e CNNs#
- Vision Transformer: A autoatenção compara todos os tokens de N patches, par a par, com custo O(N²), permitindo que qualquer patch preste atenção diretamente a qualquer outro. Uma varredura Vision Mamba custa O(N) e transmite informações entre patches distantes por meio de seu estado de tamanho fixo. Os detectores em tempo real também controlam o custo quadrático da atenção posicionando-a onde há poucos tokens: o YOLO26 restringe seus blocos de autoatenção ao mapa de características com stride 32, no qual uma entrada de 640×640 deixa apenas 20 × 20 = 400 posições.
- Rede neural convolucional (CNN): As convoluções combinam uma vizinhança local em cada camada e constroem um campo receptivo amplo por meio da profundidade e da redução da resolução, enquanto uma varredura Mamba abrange a imagem inteira.
- A varredura é necessária? Em MambaOut, Weihao Yu e Xinchao Wang removeram o SSM dos blocos no estilo Mamba, mantendo apenas convoluções com gates, e os modelos resultantes superaram todos os modelos visuais Mamba que compararam na classificação do ImageNet. O MambaOut ficou atrás dos melhores modelos visuais Mamba em detecção e segmentação, nas quais resoluções de entrada maiores produzem sequências de tokens muito mais longas; isso indica que a varredura compensa em sequências longas.
Aplicações#
- Análise de imagens médicas: Volumes de TC e RM contêm muito mais voxels do que uma foto tem pixels, e modelos como o U-Mamba adicionam blocos Mamba a um codificador-decodificador no estilo U-Net para segmentar órgãos e tumores com contexto global e custo de memória administrável.
- Compreensão de vídeo: O VideoMamba estende a varredura a tokens espaço-temporais, permitindo que o modelo processe clipes longos cuja quantidade de tokens tornaria a atenção completa cara demais.
- Predição densa: A detecção de objetos e a segmentação semântica operam em resoluções de entrada altas, cenário em que a economia de memória do Vim é maior: em 1248×1248, a divisão em blocos de 16×16 produz 6.084 tokens, e um único mapa de atenção sobre eles contém cerca de 37 milhões de entradas.










