Licence YOLO
Retour au glossaire Ultralytics

Vision Mamba

Vision Mamba applique aux fragments d’image le balayage sélectif de l’espace d’états de Mamba, en intégrant le contexte global en temps linéaire. Présentation de Vim, VMamba, des compromis et du code.

Vision Mamba est une famille de réseaux dorsaux de vision par ordinateur qui remplacent les couches d’auto-attention d’un Transformer de vision (ViT) par Mamba, un modèle d’espace d’états (SSM) sélectif conçu à l’origine pour le langage et d’autres séquences longues. Le nom désigne à la fois cette classe de modèles et Vim, le modèle éponyme présenté par Lianghui Zhu et ses collègues en janvier 2024, puis publié à ICML 2024. Comme un ViT, un modèle Vision Mamba découpe une image en patchs et les traite comme une séquence de jetons. Il combine les informations de cette séquence au moyen d’un balayage récurrent, dont le coût augmente linéairement avec le nombre de jetons, tandis que l’auto-attention compare chaque jeton à tous les autres, pour un coût quadratique. Cette différence est particulièrement importante pour les images haute résolution, les longues vidéos et les scanners médicaux 3D, où le nombre de jetons se chiffre en milliers.

Fonctionnement du balayage sélectif#

Présenté par Albert Gu et Tri Dao en décembre 2023, Mamba traite une séquence par récurrence linéaire. Pour chaque canal, un état caché h est mis à jour selon h ← exp(Δ·A)·h + Δ·B·x et produit une sortie y = C·h. Dans les SSM antérieurs comme S4, Δ, B et C étaient des constantes apprises, appliquées de façon identique à chaque jeton. Mamba les calcule à partir de chaque jeton, ce qui permet au modèle de décider, jeton par jeton, quelle part de son état conserver et quelle part de la nouvelle entrée intégrer : c’est l’aspect « sélectif » d’un SSM sélectif. L’état conserve une taille fixe quelle que soit la longueur de la séquence, et les noyaux GPU de Mamba, optimisés pour le matériel, calculent la récurrence par balayage parallèle, ce qui maintient la rapidité de l’entraînement. L’extrait PyTorch ci-dessous implémente cette récurrence, parcourt une séquence de jetons de patchs d’image dans les deux sens comme le fait Vim et l’exécute à deux résolutions :

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

Le programme affiche 196 jetons pour l’image 224×224 et 784 pour celle de 448×448, chacun associé à une sortie de 192 dimensions. L’état du balayage contient 192 × 16 = 3 072 valeurs aux deux résolutions, tandis qu’une carte d’auto-attention sur les mêmes jetons passe de 38 416 à 614 656 entrées, soit 16 fois plus pour 4 fois plus de jetons.

Adapter Mamba aux images#

Les images sont en 2D et n’ont pas d’ordre de lecture naturel. Une récurrence unidirectionnelle permet à chaque patch de ne voir que les patchs parcourus avant lui. Les modèles Vision Mamba résolvent ce problème en utilisant plusieurs parcours :

  • Vim : Ajoute des intégrations de position aux jetons de patchs, place un jeton de classe au milieu de la séquence et exécute le SSM de chaque bloc sur la séquence dans les deux sens, afin que chaque patch recueille le contexte des deux côtés. L’article indique que Vim est 2,8 fois plus rapide que le Transformer de vision DeiT et utilise 86,8 % moins de mémoire GPU lors de l’extraction de caractéristiques d’images 1248×1248 en inférence par lots.
  • VMamba : VMamba utilise un balayage sélectif 2D qui parcourt la grille de patchs selon quatre chemins, ligne par ligne et colonne par colonne dans les deux sens, puis fusionne les résultats au sein d’un réseau dorsal hiérarchique qui produit des cartes de caractéristiques mult échelles pour la détection et la segmentation.
  • Modèles hybrides : Le MambaVision de NVIDIA, publié à CVPR 2025, ajoute des blocs d’auto-attention aux dernières couches d’un réseau dorsal Mamba hiérarchique, où le sous-échantillonnage a suffisamment réduit le nombre de jetons pour permettre une attention globale exacte.

Un bloc d’encodeur Vim répartit les jetons normalisés entre une branche parcourue dans les deux sens et une branche de contrôle qui module les deux sorties du balayage avant une connexion résiduelle :

Vision Mamba, Transformers de vision et CNN#

  • Transformer de vision : L’auto-attention compare toutes les paires de N jetons de patch, pour un coût O(N²), et permet à chaque patch de prêter directement attention à tous les autres. Le balayage Vision Mamba coûte O(N) et transmet les informations des patchs éloignés par un état de taille fixe. Les détecteurs en temps réel maîtrisent également le coût quadratique de l’attention en la plaçant là où il y a peu de jetons : YOLO26 limite ses blocs d’auto-attention à la carte de caractéristiques de pas 32, où une entrée de 640 × 640 ne laisse que 20 × 20 = 400 positions.
  • Réseau neuronal convolutif (CNN) : Les convolutions combinent un voisinage local à chaque couche et construisent un grand champ réceptif grâce à la profondeur et au sous-échantillonnage, tandis qu’un balayage Mamba couvre l’image entière.
  • Le balayage est-il nécessaire ? Dans MambaOut, Weihao Yu et Xinchao Wang ont supprimé le SSM des blocs de type Mamba, en ne conservant que les convolutions à contrôle, et les modèles obtenus ont surpassé tous les modèles Mamba visuels comparés pour la classification sur ImageNet. MambaOut n’a pas atteint les meilleurs modèles Mamba visuels en détection et segmentation, où des résolutions d’entrée plus élevées produisent des séquences de jetons bien plus longues. Cela indique que le balayage est particulièrement utile pour les séquences longues.

Applications#

  • Analyse d’images médicales : Les volumes de tomodensitométrie et d’IRM contiennent bien plus de voxels qu’une photo ne compte de pixels. Des modèles comme U-Mamba ajoutent des blocs Mamba à un encodeur-décodeur de type U-Net pour segmenter les organes et les tumeurs avec un contexte global, tout en maîtrisant l’utilisation de la mémoire.
  • Compréhension vidéo : VideoMamba étend le balayage aux jetons spatio-temporels, ce qui permet au modèle de traiter de longs clips dont le nombre de jetons rendrait l’attention complète trop coûteuse.
  • Prédiction dense : La détection d’objets et la segmentation sémantique utilisent des résolutions d’entrée élevées, là où les économies de mémoire de Vim sont les plus importantes : à 1248×1248, un découpage en patchs de 16×16 donne 6 084 jetons, et une seule carte d’attention sur ces jetons contient environ 37 millions d’entrées.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique