Deformable Attention

Attention biến dạng là cơ chế attention dành cho thị giác máy tính, trong đó mỗi query attention đến một số lượng nhỏ, cố định các điểm lấy mẫu quanh một vị trí tham chiếu thay vì mọi vị trí trên feature map. Bản thân query dự đoán vị trí các điểm đó thông qua độ lệch so với điểm tham chiếu, cũng như mức độ đóng góp của từng điểm; do đó, chi phí tăng theo số query và số điểm chứ không theo độ phân giải ảnh. Xizhou Zhu, Jifeng Dai và các cộng sự tại SenseTime, University of Science and Technology of China và Chinese University of Hong Kong giới thiệu phương pháp này trong Deformable DETR, một bài báo trình bày miệng tại ICLR 2021. Phương pháp khắc phục hai điểm yếu của Transformer phát hiện DETR ban đầu: attention đầy đủ giới hạn model ở đặc trưng độ phân giải thấp và quá trình huấn luyện cần 500 epoch. Deformable DETR cần ít hơn 10 lần epoch và phát hiện đối tượng nhỏ tốt hơn.

Cách thức attention biến dạng hoạt động#

Ý tưởng này mở rộng convolution biến dạng, cũng do Dai đồng phát triển, trong đó các độ lệch của những điểm lấy mẫu trong kernel convolution được học. Với mỗi query có điểm tham chiếu, mỗi head attention áp dụng hai lớp tuyến tính lên đặc trưng query: một lớp dự đoán K độ lệch lấy mẫu, lớp còn lại dự đoán K trọng số attention, được chuẩn hóa bằng softmax. Đặc trưng value tại mỗi điểm đã dịch chuyển được truy xuất bằng nội suy song tuyến tính vì độ lệch có thể là số thập phân; sau đó, head trả về tổng có trọng số của các giá trị đó. Bài báo sử dụng 8 head và K = 4 điểm, nên mỗi query truy xuất 32 vị trí trên mỗi feature map, trong khi self-attention tiêu chuẩn sẽ tính điểm cho mọi pixel. Phiên bản một head, một tỉ lệ chỉ cần vài dòng PyTorch:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
dim, n_points, n_queries = 32, 4, 100
value = torch.randn(1, dim, 64, 64)  # a 64x64 feature map: 4,096 positions
query = torch.randn(n_queries, dim)
ref = torch.rand(n_queries, 2) * 2 - 1  # reference points in grid_sample's [-1, 1] coordinates

# Each query predicts where to look (offsets) and how much each sample counts (weights)
to_offsets, to_weights = torch.nn.Linear(dim, n_points * 2), torch.nn.Linear(dim, n_points)
offsets = 0.1 * to_offsets(query).view(n_queries, n_points, 2)
weights = to_weights(query).softmax(dim=-1)

# Bilinearly sample the value map at reference + offset, then take the weighted sum
grid = (ref[:, None] + offsets)[None]  # (1, n_queries, n_points, 2)
sampled = F.grid_sample(value, grid, align_corners=False)[0]  # (dim, n_queries, n_points)
out = (sampled * weights).sum(dim=-1).T  # (n_queries, dim)
print(f"Output {tuple(out.shape)} from {n_queries * n_points} samples, not {n_queries * 64 * 64:,} dense scores")

Đoạn mã in ra Output (100, 32) from 400 samples, not 409,600 dense scores: mỗi trong số 100 query truy xuất 4 trên tổng số 4.096 vị trí. Quá trình huấn luyện điều chỉnh các lớp độ lệch và trọng số để những điểm này dịch chuyển đến các phần của ảnh hữu ích cho tác vụ.

Attention biến dạng đa tỉ lệ#

Đối tượng xuất hiện với kích thước rất khác nhau, vì vậy Deformable DETR lấy mẫu đồng thời trên nhiều feature map. Với L cấp, mỗi head lấy K điểm ở mỗi cấp và chuẩn hóa trọng số trên toàn bộ L × K điểm, nhờ đó kết hợp đặc trưng mịn và thô chỉ trong một bước; phương pháp này thay thế mạng kim tự tháp đặc trưng (FPN) trong encoder. Encoder áp dụng phương pháp này dưới dạng self-attention, trong đó mọi pixel ở mọi cấp đều là query; decoder áp dụng dưới dạng cross-attention từ các query đối tượng đến đặc trưng ảnh.

RT-DETR, Transformer phát hiện thời gian thực của Baidu có trong gói Ultralytics, sử dụng attention biến dạng đa tỉ lệ làm cross-attention trong sáu lớp decoder: mỗi trong số 300 query đối tượng lấy mẫu 4 điểm mỗi head trên 8 head ở các feature map stride-8, stride-16 và stride-32, tổng cộng 96 vị trí; trong khi cross-attention đầy đủ trên các feature map đó của ảnh 640 pixel sẽ tính điểm cho 8.400 vị trí.

Ứng dụng#

• Phát hiện đối tượng: Các phiên bản kế nhiệm của Deformable DETR, gồm DINO và RT-DETR, giữ lại cross-attention biến dạng trong decoder, cho phép chúng truy xuất đặc trưng độ phân giải cao để phát hiện đối tượng nhỏ.
• Xe tự hành: BEVFormer chiếu ảnh từ nhiều camera trên xe vào lưới góc nhìn từ trên cao; tại đó, mỗi ô lưới lấy mẫu các điểm biến dạng trong những góc nhìn camera có thể quan sát ô đó.
• Phân đoạn toàn cảnh: Mask2Former xây dựng đặc trưng pixel đa tỉ lệ bằng attention biến dạng trước khi dự đoán mask.

Attention biến dạng và các thuật ngữ liên quan#

• Attention cửa sổ trượt: Attention đến một vùng lân cận cố định theo vị trí, giống nhau với mọi đầu vào.
• Attention thưa: Tính điểm cho một tập con cố định các cặp token được chọn trước.
• Flash attention: Tăng tốc attention dày đặc thông thường bằng cách chia thành các tile trong bộ nhớ GPU on-chip, cho kết quả giống attention tiêu chuẩn.
• Attention của Transformer thị giác (ViT): So sánh mọi patch ảnh với mọi patch khác, vì vậy chi phí tăng theo bình phương số lượng patch.