Vision Mamba
Vision Mamba áp dụng cơ chế quét không gian trạng thái chọn lọc của Mamba lên các patch hình ảnh, kết hợp ngữ cảnh toàn cục với độ phức tạp tuyến tính. Bài viết trình bày Vim, VMamba, các đánh đổi và code.
Vision Mamba là một họ backbone dành cho thị giác máy tính, thay các lớp self-attention của Vision Transformer (ViT) bằng Mamba, một mô hình không gian trạng thái (SSM) có tính chọn lọc, ban đầu được phát triển cho ngôn ngữ và các chuỗi dài khác. Tên gọi này vừa chỉ lớp model vừa chỉ Vim, model cùng tên do Lianghui Zhu và các cộng sự giới thiệu vào tháng 1 năm 2024 và công bố tại ICML 2024. Giống ViT, model Vision Mamba chia ảnh thành các patch và xem chúng như một chuỗi token. Model trộn thông tin trong chuỗi bằng một phép quét đệ quy, với chi phí tăng tuyến tính theo số token; trong khi self-attention so sánh từng token với mọi token khác, khiến chi phí tăng theo bình phương. Khác biệt này thể hiện rõ nhất ở ảnh độ phân giải cao, video dài và ảnh quét y khoa 3D, nơi số token lên đến hàng nghìn.
Cách thức quét chọn lọc hoạt động#
Mamba, được Albert Gu và Tri Dao giới thiệu vào tháng 12 năm 2023, xử lý chuỗi bằng phép đệ quy tuyến tính. Với mỗi kênh, trạng thái ẩn h được cập nhật theo công thức h ← exp(Δ·A)·h + Δ·B·x và được đọc ra theo công thức y = C·h. Trong các SSM trước đó như S4, Δ, B và C là các hằng số được học, áp dụng giống nhau cho mọi token. Mamba tính các giá trị này từ từng token, nhờ đó model quyết định theo từng token cần giữ lại bao nhiêu trạng thái và tiếp nhận bao nhiêu dữ liệu đầu vào mới—đây là phần “chọn lọc” trong SSM chọn lọc. Trạng thái có kích thước cố định bất kể độ dài chuỗi; các kernel GPU có xét đến đặc tính phần cứng của Mamba tính phép đệ quy bằng quét song song, nhờ đó quá trình huấn luyện vẫn nhanh. Đoạn mã PyTorch bên dưới triển khai phép đệ quy này, quét chuỗi token patch ảnh theo cả chiều xuôi và ngược như Vim, rồi chạy ở hai độ phân giải:
import torch
import torch.nn.functional as F
from torch import nn
torch.manual_seed(0)
D, N = 192, 16 # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16) # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1) # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N) # computes a step size, B, and C from each token
def selective_scan(x):
"""Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
delta, B, C = proj(x).split([D, N, N], dim=-1)
delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
for t in range(x.shape[1]):
h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
ys.append((h * C[:, t, None, :]).sum(-1))
return torch.stack(ys, dim=1)
for size in [224, 448]:
tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1) # forward plus backward scan
print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")Đoạn mã in ra 196 token cho ảnh 224×224 và 784 token cho ảnh 448×448, mỗi token được ánh xạ thành đầu ra 192 chiều. Trạng thái của phép quét lưu 192 × 16 = 3.072 giá trị ở cả hai độ phân giải, trong khi bản đồ self-attention trên cùng số token tăng từ 38.416 lên 614.656 phần tử, lớn gấp 16 lần khi số token tăng gấp 4.
Điều chỉnh Mamba cho ảnh#
Ảnh là dữ liệu 2D và không có thứ tự đọc tự nhiên; phép đệ quy một chiều chỉ cho phép mỗi patch truy cập các patch đã được quét trước đó. Các model Vision Mamba giải quyết vấn đề này bằng nhiều đường quét:
- Vim: Bổ sung embedding vị trí cho các token patch, đặt token lớp ở giữa chuỗi và chạy SSM của mỗi block trên chuỗi theo cả chiều xuôi lẫn ngược, để mỗi patch thu thập ngữ cảnh từ cả hai phía. Bài báo cho biết Vim chạy nhanh hơn transformer thị giác DeiT 2,8 lần và dùng ít hơn 86,8% bộ nhớ GPU khi trích xuất đặc trưng từ ảnh 1248×1248 trong suy luận theo batch.
- VMamba: VMamba sử dụng phép quét chọn lọc 2D, duyệt lưới patch theo bốn hướng—từng hàng và từng cột theo cả hai chiều—rồi kết hợp kết quả trong backbone phân cấp tạo ra các feature map đa tỷ lệ cho phát hiện và phân đoạn.
- Mô hình lai: MambaVision của NVIDIA, được công bố tại CVPR 2025, bổ sung các block self-attention vào những lớp cuối của backbone Mamba phân cấp, nơi giảm mẫu đã làm số token đủ nhỏ để có thể thực hiện attention toàn cục chính xác.
Một block mã hóa Vim chia các token đã chuẩn hóa thành một nhánh được quét theo cả hai chiều và một nhánh cổng điều chỉnh đầu ra của cả hai phép quét trước khi đi qua kết nối phần dư:
Vision Mamba so với Vision Transformer và CNN#
- Vision Transformer: Self-attention so sánh theo từng cặp tất cả N token patch với chi phí O(N²), cho phép mọi patch trực tiếp chú ý đến bất kỳ patch nào khác. Quét Vision Mamba có chi phí O(N) và truyền thông tin từ các patch ở xa qua trạng thái có kích thước cố định. Detector thời gian thực cũng kiểm soát chi phí bậc hai của attention bằng cách bố trí attention ở nơi có ít token: YOLO26 giới hạn các khối self-attention ở feature map stride-32, nơi đầu vào 640×640 chỉ còn 20 × 20 = 400 vị trí.
- Mạng nơ-ron tích chập (CNN): Phép tích chập trộn một vùng lân cận cục bộ ở mỗi lớp và mở rộng trường tiếp nhận thông qua độ sâu và giảm mẫu, trong khi một phép quét Mamba bao quát toàn bộ ảnh.
- Có cần phép quét không? Trong MambaOut, Weihao Yu và Xinchao Wang loại bỏ SSM khỏi các block kiểu Mamba, chỉ giữ lại phép tích chập có cổng; các model thu được vượt qua tất cả model Mamba thị giác mà họ so sánh trên tác vụ phân loại ImageNet. MambaOut không đạt kết quả bằng những model Mamba thị giác tốt nhất ở tác vụ phát hiện và phân đoạn, nơi độ phân giải đầu vào cao hơn tạo ra chuỗi token dài hơn nhiều; điều này cho thấy phép quét phát huy hiệu quả khi xử lý chuỗi dài.
Ứng dụng#
- Phân tích ảnh y khoa: Ảnh thể tích CT và MRI chứa nhiều voxel hơn số pixel trong ảnh thông thường; các model như U-Mamba bổ sung block Mamba vào bộ mã hóa-giải mã kiểu U-Net để phân đoạn cơ quan và khối u với ngữ cảnh toàn cục mà vẫn giữ chi phí bộ nhớ ở mức có thể quản lý.
- Hiểu video: VideoMamba mở rộng phép quét sang các token không-thời gian, giúp model xử lý các clip dài có số token khiến attention toàn phần trở nên tốn kém.
- Dự đoán dày đặc: Phát hiện đối tượng và phân đoạn ngữ nghĩa hoạt động ở độ phân giải đầu vào cao; đây là trường hợp mức tiết kiệm bộ nhớ của Vim lớn nhất. Ở độ phân giải 1248×1248, việc chia patch 16×16 tạo ra 6.084 token, và một bản đồ attention duy nhất trên số token này chứa khoảng 37 triệu phần tử.










