Licencia YOLO
Volver al glosario de Ultralytics

Vision Mamba

Vision Mamba aplica el escaneo selectivo de espacio de estados de Mamba a parches de imagen y combina el contexto global en tiempo lineal. Explica Vim, VMamba, sus ventajas e inconvenientes y el código.

Vision Mamba es una familia de redes troncales de visión artificial que sustituyen las capas de autoatención de un Transformer de visión (ViT) por Mamba, un modelo de espacio de estados (SSM) selectivo, creado originalmente para el lenguaje y otras secuencias largas. El nombre designa tanto esta clase de modelos como Vim, el modelo homónimo que Lianghui Zhu y sus colegas presentaron en enero de 2024 y publicaron en ICML 2024. Al igual que un ViT, un modelo Vision Mamba divide una imagen en parches y los trata como una secuencia de tokens. Combina la información de esa secuencia mediante un recorrido recurrente, cuyo coste crece linealmente con el número de tokens, mientras que la autoatención compara cada token con todos los demás y su coste crece cuadráticamente. La diferencia es más importante en imágenes de alta resolución, vídeos largos y escáneres médicos 3D, donde el número de tokens puede llegar a los miles.

Cómo funciona el recorrido selectivo#

Mamba, presentado por Albert Gu y Tri Dao en diciembre de 2023, procesa una secuencia mediante una recurrencia lineal. Para cada canal, un estado oculto h se actualiza como h ← exp(Δ·A)·h + Δ·B·x y se obtiene como y = C·h. En los SSM anteriores, como S4, Δ, B y C eran constantes aprendidas que se aplicaban de la misma manera a cada token. Mamba los calcula a partir de cada token, lo que permite al modelo decidir, token a token, cuánto estado conserva y cuánto de la nueva entrada incorpora: de ahí lo de «selectivo» en SSM selectivo. El estado tiene un tamaño fijo, independientemente de la longitud de la secuencia, y los kernels de GPU de Mamba, adaptados al hardware, calculan la recurrencia mediante un recorrido paralelo, lo que mantiene rápido el entrenamiento. El fragmento de PyTorch siguiente implementa esta recurrencia, recorre hacia delante y hacia atrás una secuencia de tokens de parches de imagen, como hace Vim, y la ejecuta con dos resoluciones:

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

Imprime 196 tokens para la imagen de 224×224 y 784 para la de 448×448, cada uno asignado a una salida de 192 dimensiones. El estado del recorrido contiene 192 × 16 = 3072 valores en ambas resoluciones, mientras que un mapa de autoatención sobre esos mismos tokens pasa de 38 416 a 614 656 entradas: 16 veces más para 4 veces más tokens.

Adaptación de Mamba a las imágenes#

Las imágenes son bidimensionales y no tienen un orden de lectura natural; además, con una recurrencia unidireccional, cada parche solo puede ver los parches recorridos antes que él. Los modelos Vision Mamba lo resuelven mediante varias rutas de recorrido:

  • Vim: Añade incrustaciones posicionales a los tokens de los parches, coloca un token de clase en el centro de la secuencia y ejecuta el SSM de cada bloque sobre la secuencia en ambas direcciones, para que cada parche reúna el contexto de ambos lados. El artículo indica que Vim es 2,8 veces más rápido que el Transformer de visión DeiT y utiliza un 86,8 % menos de memoria de GPU al extraer características de imágenes de 1248×1248 durante la inferencia por lotes.
  • VMamba: VMamba utiliza un recorrido selectivo 2D que lee la cuadrícula de parches por cuatro rutas, fila por fila y columna por columna en ambas direcciones, y combina los resultados dentro de una red troncal jerárquica que genera mapas de características multiescala para detección y segmentación.
  • Modelos híbridos: MambaVision, de NVIDIA, publicado en CVPR 2025, añade bloques de autoatención a las capas finales de una red troncal Mamba jerárquica, donde el submuestreo ha reducido el número de tokens lo suficiente para aplicar una atención global exacta.

Un bloque codificador de Vim divide los tokens normalizados en una rama que se recorre en ambas direcciones y otra de compuerta que escala las dos salidas del recorrido antes de una conexión residual:

Vision Mamba frente a Transformers de visión y CNN#

  • Transformador de visión: La autoatención compara por pares todos los tokens de los N parches con un coste O(N²) y permite que cualquier parche atienda directamente a cualquier otro. Una operación de barrido de Vision Mamba cuesta O(N) y transmite información entre parches distantes mediante un estado de tamaño fijo. Los detectores en tiempo real también controlan el coste cuadrático de la atención ubicándola donde hay pocos tokens: YOLO26 limita sus bloques de autoatención al mapa de características de zancada 32, donde una entrada de 640×640 deja solo 20 × 20 = 400 posiciones.
  • Red neuronal convolucional (CNN): Las convoluciones combinan una vecindad local en cada capa y amplían el campo receptivo mediante la profundidad y el submuestreo, mientras que un solo recorrido Mamba abarca toda la imagen.
  • ¿Es necesario el recorrido? En MambaOut, Weihao Yu y Xinchao Wang eliminaron el SSM de los bloques de estilo Mamba y conservaron solo las convoluciones con compuerta. Los modelos resultantes superaron a todos los modelos Mamba visuales con los que se compararon en la clasificación de ImageNet. MambaOut quedó por debajo de los mejores modelos Mamba visuales en detección y segmentación, donde las resoluciones de entrada más altas generan secuencias de tokens mucho más largas; esto indica que el recorrido resulta útil con secuencias largas.

Aplicaciones#

  • Análisis de imágenes médicas: Los volúmenes de TC y RM contienen muchos más vóxeles que píxeles tiene una foto, y modelos como U-Mamba añaden bloques Mamba a un codificador-decodificador de tipo U-Net para segmentar órganos y tumores con contexto global y un coste de memoria asumible.
  • Comprensión de vídeo: VideoMamba amplía el recorrido a tokens espaciotemporales, lo que permite al modelo procesar clips largos cuyo número de tokens haría costosa la atención completa.
  • Predicción densa: La detección de objetos y la segmentación semántica se ejecutan con resoluciones de entrada altas, donde el ahorro de memoria de Vim es mayor: con 1248×1248, una división en parches de 16×16 produce 6084 tokens, y un único mapa de atención sobre ellos contiene unos 37 millones de entradas.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático