Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Vision Mamba

Vision Mamba áp dụng cơ chế quét không gian trạng thái chọn lọc của Mamba lên các patch hình ảnh, kết hợp ngữ cảnh toàn cục với độ phức tạp tuyến tính. Bài viết trình bày Vim, VMamba, các đánh đổi và code.

Vision Mamba là một họ backbone dành cho thị giác máy tính, thay các lớp self-attention của Vision Transformer (ViT) bằng Mamba, một mô hình không gian trạng thái (SSM) có tính chọn lọc, ban đầu được phát triển cho ngôn ngữ và các chuỗi dài khác. Tên gọi này vừa chỉ lớp model vừa chỉ Vim, model cùng tên do Lianghui Zhu và các cộng sự giới thiệu vào tháng 1 năm 2024 và công bố tại ICML 2024. Giống ViT, model Vision Mamba chia ảnh thành các patch và xem chúng như một chuỗi token. Model trộn thông tin trong chuỗi bằng một phép quét đệ quy, với chi phí tăng tuyến tính theo số token; trong khi self-attention so sánh từng token với mọi token khác, khiến chi phí tăng theo bình phương. Khác biệt này thể hiện rõ nhất ở ảnh độ phân giải cao, video dài và ảnh quét y khoa 3D, nơi số token lên đến hàng nghìn.

Cách thức quét chọn lọc hoạt động#

Mamba, được Albert Gu và Tri Dao giới thiệu vào tháng 12 năm 2023, xử lý chuỗi bằng phép đệ quy tuyến tính. Với mỗi kênh, trạng thái ẩn h được cập nhật theo công thức h ← exp(Δ·A)·h + Δ·B·x và được đọc ra theo công thức y = C·h. Trong các SSM trước đó như S4, Δ, B và C là các hằng số được học, áp dụng giống nhau cho mọi token. Mamba tính các giá trị này từ từng token, nhờ đó model quyết định theo từng token cần giữ lại bao nhiêu trạng thái và tiếp nhận bao nhiêu dữ liệu đầu vào mới—đây là phần “chọn lọc” trong SSM chọn lọc. Trạng thái có kích thước cố định bất kể độ dài chuỗi; các kernel GPU có xét đến đặc tính phần cứng của Mamba tính phép đệ quy bằng quét song song, nhờ đó quá trình huấn luyện vẫn nhanh. Đoạn mã PyTorch bên dưới triển khai phép đệ quy này, quét chuỗi token patch ảnh theo cả chiều xuôi và ngược như Vim, rồi chạy ở hai độ phân giải:

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

Đoạn mã in ra 196 token cho ảnh 224×224 và 784 token cho ảnh 448×448, mỗi token được ánh xạ thành đầu ra 192 chiều. Trạng thái của phép quét lưu 192 × 16 = 3.072 giá trị ở cả hai độ phân giải, trong khi bản đồ self-attention trên cùng số token tăng từ 38.416 lên 614.656 phần tử, lớn gấp 16 lần khi số token tăng gấp 4.

Điều chỉnh Mamba cho ảnh#

Ảnh là dữ liệu 2D và không có thứ tự đọc tự nhiên; phép đệ quy một chiều chỉ cho phép mỗi patch truy cập các patch đã được quét trước đó. Các model Vision Mamba giải quyết vấn đề này bằng nhiều đường quét:

  • Vim: Bổ sung embedding vị trí cho các token patch, đặt token lớp ở giữa chuỗi và chạy SSM của mỗi block trên chuỗi theo cả chiều xuôi lẫn ngược, để mỗi patch thu thập ngữ cảnh từ cả hai phía. Bài báo cho biết Vim chạy nhanh hơn transformer thị giác DeiT 2,8 lần và dùng ít hơn 86,8% bộ nhớ GPU khi trích xuất đặc trưng từ ảnh 1248×1248 trong suy luận theo batch.
  • VMamba: VMamba sử dụng phép quét chọn lọc 2D, duyệt lưới patch theo bốn hướng—từng hàng và từng cột theo cả hai chiều—rồi kết hợp kết quả trong backbone phân cấp tạo ra các feature map đa tỷ lệ cho phát hiện và phân đoạn.
  • Mô hình lai: MambaVision của NVIDIA, được công bố tại CVPR 2025, bổ sung các block self-attention vào những lớp cuối của backbone Mamba phân cấp, nơi giảm mẫu đã làm số token đủ nhỏ để có thể thực hiện attention toàn cục chính xác.

Một block mã hóa Vim chia các token đã chuẩn hóa thành một nhánh được quét theo cả hai chiều và một nhánh cổng điều chỉnh đầu ra của cả hai phép quét trước khi đi qua kết nối phần dư:

Vision Mamba so với Vision Transformer và CNN#

  • Vision Transformer: Self-attention so sánh theo từng cặp tất cả N token patch với chi phí O(N²), cho phép mọi patch trực tiếp chú ý đến bất kỳ patch nào khác. Quét Vision Mamba có chi phí O(N) và truyền thông tin từ các patch ở xa qua trạng thái có kích thước cố định. Detector thời gian thực cũng kiểm soát chi phí bậc hai của attention bằng cách bố trí attention ở nơi có ít token: YOLO26 giới hạn các khối self-attention ở feature map stride-32, nơi đầu vào 640×640 chỉ còn 20 × 20 = 400 vị trí.
  • Mạng nơ-ron tích chập (CNN): Phép tích chập trộn một vùng lân cận cục bộ ở mỗi lớp và mở rộng trường tiếp nhận thông qua độ sâu và giảm mẫu, trong khi một phép quét Mamba bao quát toàn bộ ảnh.
  • Có cần phép quét không? Trong MambaOut, Weihao Yu và Xinchao Wang loại bỏ SSM khỏi các block kiểu Mamba, chỉ giữ lại phép tích chập có cổng; các model thu được vượt qua tất cả model Mamba thị giác mà họ so sánh trên tác vụ phân loại ImageNet. MambaOut không đạt kết quả bằng những model Mamba thị giác tốt nhất ở tác vụ phát hiện và phân đoạn, nơi độ phân giải đầu vào cao hơn tạo ra chuỗi token dài hơn nhiều; điều này cho thấy phép quét phát huy hiệu quả khi xử lý chuỗi dài.

Ứng dụng#

  • Phân tích ảnh y khoa: Ảnh thể tích CT và MRI chứa nhiều voxel hơn số pixel trong ảnh thông thường; các model như U-Mamba bổ sung block Mamba vào bộ mã hóa-giải mã kiểu U-Net để phân đoạn cơ quan và khối u với ngữ cảnh toàn cục mà vẫn giữ chi phí bộ nhớ ở mức có thể quản lý.
  • Hiểu video: VideoMamba mở rộng phép quét sang các token không-thời gian, giúp model xử lý các clip dài có số token khiến attention toàn phần trở nên tốn kém.
  • Dự đoán dày đặc: Phát hiện đối tượng và phân đoạn ngữ nghĩa hoạt động ở độ phân giải đầu vào cao; đây là trường hợp mức tiết kiệm bộ nhớ của Vim lớn nhất. Ở độ phân giải 1248×1248, việc chia patch 16×16 tạo ra 6.084 token, và một bản đồ attention duy nhất trên số token này chứa khoảng 37 triệu phần tử.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning