Vision Mamba

Vision Mamba đánh dấu sự thay đổi đáng kể trong kiến trúc deep learning cho thị giác máy tính, chuyển hướng khỏi sự thống trị của các cơ chế dựa trên attention trong Transformer. Đây là phiên bản thích ứng của kiến trúc Mamba, ban đầu được thiết kế để mô hình hóa chuỗi hiệu quả trong xử lý ngôn ngữ tự nhiên, và được điều chỉnh riêng cho các tác vụ thị giác. Bằng cách tận dụng Mô hình Không gian Trạng thái (SSM), Vision Mamba cung cấp giải pháp thay thế có độ phức tạp tuyến tính cho độ phức tạp bậc hai của các lớp self-attention truyền thống. Nhờ đó, Vision Mamba xử lý ảnh độ phân giải cao hiệu quả hơn, đặc biệt hữu ích trong các ứng dụng có tài nguyên tính toán hạn chế hoặc cần nắm bắt quan hệ phụ thuộc tầm xa trong dữ liệu hình ảnh mà không tiêu tốn nhiều bộ nhớ như Vision Transformer (ViT).

Cách Vision Mamba hoạt động#

Cốt lõi của Vision Mamba là khái niệm quét dữ liệu có chọn lọc. Mạng neural tích chập (CNN) truyền thống xử lý hình ảnh bằng các cửa sổ trượt cục bộ, rất hiệu quả trong phát hiện kết cấu và cạnh nhưng gặp khó khăn với ngữ cảnh toàn cục. Ngược lại, Transformer dùng attention toàn cục để liên kết mỗi pixel (hoặc patch) với mọi pixel khác, mang lại ngữ cảnh tốt nhưng tốn kém về tính toán khi độ phân giải ảnh tăng. Vision Mamba thu hẹp khoảng cách này bằng cách làm phẳng ảnh thành chuỗi và xử lý chúng bằng không gian trạng thái có chọn lọc. Cách này cho phép model nén thông tin hình ảnh vào trạng thái có kích thước cố định, giữ lại chi tiết liên quan trên khoảng cách dài trong chuỗi ảnh đồng thời loại bỏ nhiễu không liên quan.

Kiến trúc này thường sử dụng cơ chế quét hai chiều. Vì hình ảnh là cấu trúc 2D, không có thứ tự tuần tự vốn có như văn bản, Vision Mamba quét các patch ảnh theo cả chiều xuôi và chiều ngược (đôi khi theo các đường quét khác nhau) để đảm bảo các quan hệ không gian được nhận biết bất kể thứ tự quét. Phương pháp này giúp model đạt trường tiếp nhận toàn cục tương tự Transformer, nhưng có tốc độ suy luận nhanh hơn và mức sử dụng bộ nhớ thấp hơn; kết quả thường sánh ngang các phương pháp tiên tiến trên benchmark như ImageNet.

Ứng dụng thực tế#

Vision Mamba có hiệu quả cao nên đặc biệt phù hợp với môi trường hạn chế tài nguyên và các tác vụ độ phân giải cao.

• Phân tích ảnh y tế: Trong các lĩnh vực như X quang, việc phân tích ảnh MRI hoặc CT độ phân giải cao đòi hỏi phát hiện những bất thường tinh vi có thể cách xa nhau về mặt không gian trong một ảnh lớn. Vision Mamba có thể xử lý hiệu quả các tệp phân tích ảnh y tế lớn này mà không gặp nút thắt bộ nhớ thường thấy ở Transformer tiêu chuẩn, hỗ trợ bác sĩ xác định khối u hoặc vết gãy với độ chính xác cao.
• Điều hướng tự hành trên thiết bị biên: Xe tự lái và drone dựa vào điện toán biên để xử lý luồng video theo thời gian thực. Khả năng mở rộng tuyến tính của Vision Mamba cho phép các hệ thống này xử lý đầu vào video tốc độ khung hình cao hiệu quả hơn các model Transformer nặng khi thực hiện phát hiện đối tượng và phân đoạn ngữ nghĩa, đảm bảo thời gian phản hồi nhanh hơn cho các quyết định quan trọng về an toàn.

Vision Mamba so với Vision Transformer (ViT)#

Dù cả hai kiến trúc đều hướng đến việc nắm bắt ngữ cảnh toàn cục, cách thức hoạt động của chúng khác nhau về cơ bản.

• Vision Transformer (ViT): Dựa vào cơ chế attention, cơ chế này tính toán mối quan hệ giữa mọi cặp patch ảnh. Điều này dẫn đến độ phức tạp bậc hai ($O(N^2)$), nghĩa là tăng gấp đôi kích thước ảnh sẽ làm chi phí tính toán tăng gấp bốn.
• Vision Mamba: Sử dụng Mô hình Không gian Trạng thái (SSM) để xử lý token thị giác theo tuyến tính ($O(N)$). Model duy trì một trạng thái liên tục được cập nhật khi tiếp nhận patch mới, nhờ đó mở rộng hiệu quả hơn nhiều ở độ phân giải cao mà vẫn duy trì độ chính xác tương đương.

Ví dụ: Quy trình suy luận hiệu quả#

Dù Vision Mamba là một kiến trúc cụ thể, các nguyên lý hiệu quả của kiến trúc này phù hợp với mục tiêu của những model thời gian thực hiện đại như Ultralytics YOLO26. Người dùng muốn tối ưu hóa các tác vụ thị giác có thể tận dụng Ultralytics Platform để huấn luyện và triển khai. Dưới đây là ví dụ sử dụng package ultralytics để chạy suy luận, minh họa sự tiện lợi khi dùng các model thị giác được tối ưu hóa cao.

from ultralytics import YOLO

# Tải model YOLO26 đã huấn luyện trước (tối ưu tốc độ và độ chính xác)
model = YOLO("yolo26n.pt")  # 'n' cho nano, nhấn mạnh tính hiệu quả

# Chạy inference trên một ảnh
results = model.predict("path/to/image.jpg")

# Hiển thị kết quả
results[0].show()

Lợi ích chính và triển vọng tương lai#

Việc đưa các kiến trúc dựa trên Mamba vào thị giác máy tính cho thấy xu hướng hướng đến AI tối ưu theo phần cứng. Bằng cách giảm chi phí tính toán liên quan đến attention toàn cục, các nhà nghiên cứu mở ra khả năng triển khai AI agent tiên tiến trên các thiết bị nhỏ hơn.

Các nghiên cứu gần đây, chẳng hạn như bài báo VMamba và những phát triển trong deep learning hiệu quả, cho thấy tiềm năng thay thế backbone truyền thống của các model này trong nhiều tác vụ, từ hiểu video đến phát hiện đối tượng 3D. Khi cộng đồng tiếp tục cải tiến chiến lược quét và tích hợp với lớp tích chập, Vision Mamba có triển vọng trở thành thành phần tiêu chuẩn trong bộ công cụ deep learning, bên cạnh CNN và Transformer.