Vision Mamba

Vision Mamba đại diện cho một bước chuyển mình quan trọng trong các kiến trúc deep learning cho thị giác máy tính, thoát khỏi sự thống trị của các cơ chế dựa trên attention có trong các Transformer. Đây là một sự thích nghi của kiến trúc Mamba—vốn ban đầu được thiết kế để mô hình hóa trình tự hiệu quả trong xử lý ngôn ngữ tự nhiên—được tùy chỉnh đặc biệt cho các tác vụ thị giác. Bằng cách tận dụng các State Space Models (SSMs), Vision Mamba mang lại một giải pháp thay thế có độ phức tạp tuyến tính cho độ phức tạp bậc hai của các lớp self-attention truyền thống. Điều này cho phép nó xử lý hình ảnh có độ phân giải cao hiệu quả hơn, làm cho nó đặc biệt có giá trị đối với các ứng dụng nơi tài nguyên tính toán bị hạn chế hoặc nơi các phụ thuộc tầm xa trong dữ liệu thị giác phải được nắm bắt mà không tốn dung lượng bộ nhớ lớn như thường thấy ở Vision Transformers (ViT).

Link to this sectionVision Mamba hoạt động như thế nào#

Cốt lõi của Vision Mamba là khái niệm quét dữ liệu có chọn lọc. Các Convolutional Neural Networks (CNNs) truyền thống xử lý hình ảnh bằng các cửa sổ trượt cục bộ, vốn rất tốt trong việc phát hiện kết cấu và cạnh nhưng lại gặp khó khăn với bối cảnh toàn cục. Ngược lại, các Transformer sử dụng attention toàn cục để liên kết từng pixel (hoặc patch) với mọi pixel khác, điều này cung cấp bối cảnh tuyệt vời nhưng trở nên đắt đỏ về mặt tính toán khi độ phân giải hình ảnh tăng lên. Vision Mamba thu hẹp khoảng cách này bằng cách làm phẳng hình ảnh thành các trình tự và xử lý chúng bằng các không gian trạng thái chọn lọc. Điều này cho phép mô hình nén thông tin thị giác thành một trạng thái có kích thước cố định, giữ lại các chi tiết liên quan qua khoảng cách dài trong trình tự hình ảnh trong khi loại bỏ nhiễu không liên quan.

Kiến trúc này thường bao gồm một cơ chế quét hai chiều. Vì hình ảnh là cấu trúc 2D chứ không phải dạng trình tự vốn có như văn bản, Vision Mamba quét các patch hình ảnh theo cả hướng tiến và lùi (và đôi khi là các đường dẫn khác nhau) để đảm bảo rằng các mối quan hệ không gian được hiểu bất kể thứ tự quét. Phương pháp này cho phép mô hình đạt được các receptive fields toàn cục tương tự như Transformer nhưng với tốc độ suy luận nhanh hơn và mức sử dụng bộ nhớ thấp hơn, thường cạnh tranh với các kết quả hiện đại nhất trên các benchmark như ImageNet.

Link to this sectionCác ứng dụng trong thực tế#

Hiệu suất của Vision Mamba làm cho nó cực kỳ phù hợp với các môi trường hạn chế tài nguyên và các tác vụ có độ phân giải cao.

• Phân tích hình ảnh y tế: Trong các lĩnh vực như chẩn đoán hình ảnh, việc phân tích các bản quét MRI hoặc CT có độ phân giải cao đòi hỏi phải phát hiện các bất thường tinh vi có thể cách xa nhau về mặt không gian trong một hình ảnh lớn. Vision Mamba có thể xử lý các tệp medical image analysis lớn này một cách hiệu quả mà không gặp phải các nút thắt bộ nhớ thường làm ảnh hưởng đến các Transformer tiêu chuẩn, hỗ trợ bác sĩ xác định khối u hoặc vết gãy với độ chính xác cao.
• Điều hướng tự hành trên các thiết bị Edge: Xe tự lái và máy bay không người lái dựa vào edge computing để xử lý nguồn cấp dữ liệu video theo thời gian thực. Việc mở rộng tuyến tính của Vision Mamba cho phép các hệ thống này xử lý đầu vào video tốc độ khung hình cao cho object detection và semantic segmentation hiệu quả hơn so với các mô hình Transformer nặng nề, đảm bảo thời gian phản ứng nhanh hơn cho các quyết định quan trọng về an toàn.

Link to this sectionVision Mamba so với Vision Transformers (ViT)#

Mặc dù cả hai kiến trúc đều nhằm mục đích nắm bắt bối cảnh toàn cục, chúng khác biệt cơ bản trong cách vận hành.

• Vision Transformer (ViT): Dựa vào attention mechanism, tính toán mối quan hệ giữa mọi cặp patch hình ảnh. Điều này dẫn đến độ phức tạp bậc hai ($O(N^2)$), nghĩa là gấp đôi kích thước hình ảnh sẽ làm tăng gấp bốn lần chi phí tính toán.
• Vision Mamba: Sử dụng State Space Models (SSMs) để xử lý các token thị giác một cách tuyến tính ($O(N)$). Nó duy trì một trạng thái chạy cập nhật khi nhìn thấy các patch mới, cho phép nó mở rộng quy mô tốt hơn nhiều với độ phân giải cao hơn trong khi vẫn duy trì accuracy tương đương.

Link to this sectionVí dụ: Quy trình làm việc suy luận hiệu quả#

Mặc dù Vision Mamba là một kiến trúc cụ thể, nhưng các nguyên tắc hiệu quả của nó phù hợp với mục tiêu của các mô hình thời gian thực hiện đại như Ultralytics YOLO26. Người dùng muốn tối ưu hóa các tác vụ thị giác có thể tận dụng Ultralytics Platform để đào tạo và triển khai. Dưới đây là ví dụ sử dụng gói ultralytics để thực hiện suy luận, cho thấy sự dễ dàng khi sử dụng các mô hình thị giác đã được tối ưu hóa cao.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (optimized for speed and accuracy)
model = YOLO("yolo26n.pt")  # 'n' for nano, emphasizing efficiency

# Run inference on an image
results = model.predict("path/to/image.jpg")

# Display the results
results[0].show()

Link to this sectionNhững lợi ích chính và triển vọng tương lai#

Việc giới thiệu các kiến trúc dựa trên Mamba vào thị giác máy tính báo hiệu một bước tiến tới AI nhận biết phần cứng hơn. Bằng cách giảm chi phí tính toán liên quan đến global attention, các nhà nghiên cứu đang mở ra cánh cửa cho việc triển khai các AI agents tiên tiến trên các thiết bị nhỏ hơn.

Nghiên cứu gần đây, chẳng hạn như bài báo VMamba paper và các phát triển trong efficient deep learning, nêu bật tiềm năng của các mô hình này trong việc thay thế các backbone truyền thống trong các tác vụ từ video understanding đến 3D object detection. Khi cộng đồng tiếp tục tinh chỉnh các chiến lược quét và tích hợp với convolutional layers, Vision Mamba sẵn sàng trở thành một thành phần tiêu chuẩn trong bộ công cụ deep learning cùng với các CNN và Transformer.