Swin Transformer

Được các nhà nghiên cứu tại Microsoft giới thiệu trong bài báo mang tính bước ngoặt năm 2021 "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows", kiến trúc học sâu (DL) này điều chỉnh cơ chế attention để xử lý những phức tạp của dữ liệu hình ảnh có độ phân giải cao. Không giống các model xử lý ngôn ngữ tự nhiên xử lý các token văn bản có độ dài đồng nhất, kiến trúc này thừa nhận rằng các thành phần hình ảnh có quy mô khác nhau đáng kể. Bằng cách xây dựng biểu diễn phân cấp và sử dụng kỹ thuật chia cửa sổ độc đáo, model đạt được độ phức tạp tính toán tuyến tính theo kích thước ảnh, trở thành một backbone có hiệu suất cao cho nhiều tác vụ thị giác máy tính (CV).

Cách hoạt động của cửa sổ dịch chuyển và thiết kế phân cấp#

Đổi mới chính nằm ở cách model cấu trúc trích xuất đặc trưng. Model bắt đầu bằng việc chia ảnh đầu vào thành các patch nhỏ, không chồng lấn. Tuy nhiên, không giống các model trước đây, model dần gộp các patch lân cận này thành những vùng lớn hơn ở các layer sâu hơn. Cách tiếp cận phân cấp này cho phép network trích xuất các feature map phong phú, biểu diễn ngữ cảnh toàn cục ở nhiều quy mô khác nhau, từ các chi tiết hình ảnh rất nhỏ đến những vật thể lớn.

Để duy trì hiệu quả tính toán, self-attention chỉ được tính trong các cửa sổ cục bộ, tách biệt, thay vì trên toàn bộ ảnh. Để đảm bảo thông tin truyền qua các ranh giới này, các cửa sổ được "dịch chuyển" giữa những layer liên tiếp. Cơ chế cửa sổ dịch chuyển này kết nối hiệu quả các khu vực độc lập, cung cấp các phân cấp không gian đa quy mô toàn diện mà không phải chịu gánh nặng tính toán lớn liên quan đến attention toàn cục.

Swin Transformer so với Transformer thị giác (ViT)#

Khi so sánh các kiến trúc hiện đại, điều quan trọng là phải phân biệt model này với Transformer thị giác (ViT) tiêu chuẩn. ViT ban đầu coi ảnh là một chuỗi các patch có kích thước cố định và tính attention toàn cục trên tất cả patch cùng lúc. Mặc dù có độ chính xác cao, cách này dẫn đến độ phức tạp tính toán bậc hai, nghĩa là thời gian xử lý và yêu cầu bộ nhớ tăng vọt khi độ phân giải ảnh tăng.

Ngược lại, thiết kế phân cấp dựa trên cửa sổ của kiến trúc Swin duy trì độ phức tạp tuyến tính. Điều này khiến kiến trúc này thực tế hơn nhiều cho các tác vụ dự đoán dày đặc yêu cầu đầu vào và đầu ra có độ phân giải cao. Do đó, model đạt kết quả tiên tiến trên các benchmark như dataset COCO test-dev cho phát hiện vật thể đa quy mô và dataset phân đoạn ngữ nghĩa ADE20K cho phân đoạn ảnh chính xác.

Ứng dụng thực tế trong AI hiện đại#

Nhờ tính linh hoạt và hiệu quả, implementation trong repository GitHub chính thức của Microsoft Research đã được điều chỉnh cho nhiều ngành công nghiệp phức tạp, có yêu cầu cao.

• Phân tích ảnh y tế: Trong môi trường lâm sàng, các network như Swin-Unet tận dụng kiến trúc này cho ảnh chụp MRI 3D thể tích và phân tích mô bệnh học có độ phân giải cao. Khả năng duy trì các phân cấp không gian dày đặc của model hỗ trợ xác định những bất thường rất nhỏ, chẳng hạn như khối u giai đoạn đầu. Bạn có thể đọc thêm về các đột phá gần đây trong nghiên cứu hình ảnh y tế.
• Phân tích ảnh vệ tinh: Đối với giám sát môi trường và viễn thám, việc nắm bắt ngữ cảnh địa lý quy mô lớn là yếu tố then chốt. Cấu trúc phân cấp xử lý hiệu quả các dataset ảnh trên không quy mô lớn để theo dõi nạn phá rừng, quy hoạch đô thị và giám sát tình trạng cây trồng.

Tích hợp với PyTorch và Ultralytics#

Đối với các developer xây dựng neural network tùy chỉnh, việc triển khai kiến trúc này rất đơn giản khi sử dụng tài liệu PyTorch chính thức. Thư viện torchvision bao gồm các phiên bản đã được pre-train, chẳng hạn như biến thể Tiny nhẹ, được tối ưu hóa trên ImageNet.

import torch
from torchvision.models import Swin_T_Weights, swin_t

# Load a pre-trained Tiny variant with ImageNet weights
weights = Swin_T_Weights.IMAGENET1K_V1
model = swin_t(weights=weights)
model.eval()

# Run a single batch containing a 3-channel, 224x224 dummy image tensor
dummy_image = torch.randn(1, 3, 224, 224)
output = model(dummy_image)

# The output shape is [1, 1000], representing the 1000 ImageNet classes
print(f"Prediction tensor shape: {output.shape}")

Mặc dù các backbone dựa trên Transformer cung cấp khả năng biểu diễn đa quy mô xuất sắc, các ứng dụng hiện đại thường đòi hỏi tối ưu hóa end-to-end thuần túy cho thiết bị edge AI. Chẳng hạn, Ultralytics YOLO26 cung cấp kiến trúc end-to-end nguyên bản, nhỏ hơn, nhanh hơn và có độ chính xác cao ngay khi sử dụng, hoạt động nổi bật trong các môi trường edge thời gian thực. Dù sử dụng kiến trúc thiên về Transformer hay các model convolutional nhanh, developer có thể quản lý toàn bộ workflow—từ gắn nhãn dữ liệu đến training—thông qua Ultralytics Platform. Toolchain cloud toàn diện này giúp triển khai model và giám sát model liên tục trở nên đơn giản và hiệu quả.