Attention Mechanism

Cơ chế attention là một phép toán của mạng nơ-ron, tạo mỗi đầu ra dưới dạng trung bình có trọng số của các đặc trưng đầu vào; trọng số được tính dựa trên mức độ liên quan của từng đầu vào với phần tử đang được xử lý. Mức độ liên quan được chấm bằng cách so sánh một vector query với các vector key; các điểm số thu được dùng làm trọng số cho những vector value tương ứng. Attention được giới thiệu năm 2014 cho dịch máy, cho phép bộ giải mã của mạng nơ-ron hồi tiếp (RNN) xem lại mọi từ nguồn thay vì nén cả câu vào một vector có độ dài cố định. Transformer năm 2017 xây dựng toàn bộ kiến trúc từ attention; hiện nay, đây là phép toán cốt lõi của mô hình ngôn ngữ lớn, Transformer thị giác và nhiều model phát hiện đối tượng.

Cách thức hoạt động của attention#

Attention sử dụng ba phép chiếu tuyến tính đã học của đầu vào. Query (Q) mô tả nội dung mà token hiện tại đang tìm kiếm, mỗi key (K) mô tả những gì một token cung cấp, còn mỗi value (V) mang nội dung sẽ được truyền tiếp. Model so sánh query với mọi key, chuyển các điểm số so sánh thành trọng số rồi trả về tổng có trọng số của các value. Khi một model dịch tạo ra từ "noir" cho câu "The black cat", query ở bước đó đạt điểm cao nhất với key của từ "black", dù trong tiếng Pháp tính từ đứng sau danh từ.

Attention đa đầu chạy song song một số phép tính như vậy, mỗi phép tính sử dụng các phép chiếu có số chiều thấp hơn riêng, rồi nối các kết quả lại. Nhờ đó, các head khác nhau có thể chuyên biệt hóa để nắm bắt những quan hệ khác nhau trong cùng một lớp.

Attention tích vô hướng có điều chỉnh tỷ lệ#

Attention của Transformer được viết là Attention(Q, K, V) = softmax(QKᵀ / √d_k) V. Mỗi query được so sánh với mọi key bằng phép tích vô hướng; điểm số được chia cho căn bậc hai của số chiều key d_k để tránh tăng theo kích thước vector và làm bão hòa softmax. Softmax chuyển điểm số của mỗi query thành các trọng số có tổng bằng 1; đầu ra là tổng có trọng số của các vector value.

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Query, key và value cho một chuỗi gồm 4 token, mỗi token có 8 chiều
q, k, v = torch.randn(3, 4, 8).unbind(0)

# Chấm điểm từng query với mọi key, chia tỷ lệ bằng sqrt(d_k) và chuẩn hóa từng hàng bằng softmax
weights = (q @ k.T / k.shape[-1] ** 0.5).softmax(dim=-1)

# Mỗi token đầu ra là trung bình có trọng số của các vector value
output = weights @ v

print("Attention weights of token 0:", [round(w, 3) for w in weights[0].tolist()])
print("Matches PyTorch SDPA:", torch.allclose(output, F.scaled_dot_product_attention(q, k, v), atol=1e-6))

Lệnh này in ra [0.121, 0.741, 0.106, 0.032] và True: token 0 lấy 74% đầu ra của mình từ vector value của token 1, bốn trọng số của token 0 cộng lại bằng 1, và kết quả tính thủ công khớp với triển khai hợp nhất của PyTorch cho scaled_dot_product_attention, vốn điều phối đến các kernel tiết kiệm bộ nhớ như FlashAttention trên các GPU được hỗ trợ.

Các loại attention#

• Self-attention: Query, key và value đều đến từ cùng một chuỗi, vì vậy mỗi token thu thập ngữ cảnh từ mọi token khác. Đây là attention bên trong các encoder Transformer và ViT.
• Cross-attention: Query đến từ một chuỗi, còn key và value đến từ một chuỗi khác. Bộ giải mã dịch thuật attention đến câu nguồn; model khuếch tán chuyển văn bản thành ảnh attention đến prompt; và các query đối tượng của bộ giải mã DETR attention đến các đặc trưng ảnh.
• Causal attention: Một mask ngăn mỗi token attention đến các token đứng sau, nhờ đó model ngôn ngữ tạo văn bản từ trái sang phải; key và value của các token trước đó có thể được lưu trong bộ nhớ đệm KV.
• Attention hiệu quả: Attention thưa, attention cửa sổ trượt và attention tuyến tính giảm chi phí bậc hai của việc so sánh mọi token với mọi token khác; attention biến dạng chỉ lấy mẫu một vài điểm đã học quanh mỗi vị trí tham chiếu.
• Attention kênh trong CNN: Mạng Squeeze-and-Excitation tái cân bằng trọng số các kênh của feature map bằng giá trị trung bình toàn cục; đây là một dạng attention ít tốn kém, làm nền tảng cho bài dự thi phân loại chiến thắng ILSVRC 2017.

Attention và tích chập#

Phép tích chập áp dụng cùng một bộ lọc nhỏ tại mọi vị trí, vì vậy mỗi đầu ra nhìn thấy một cửa sổ cục bộ cố định và trọng số không phụ thuộc vào ảnh. Attention tính trọng số dựa trên nội dung và có thể kết nối mọi cặp vị trí trong một lớp. Đổi lại, chi phí tăng theo bình phương số lượng token. Ảnh 640×640 ở stride 32 tạo lưới 20×20 gồm 400 token và 160.000 cặp query-key; lưới stride 8 của cùng ảnh có 6.400 token và gần 41 triệu cặp. YOLO26 bố trí các khối attention cho phù hợp: khối C2PSA ở cuối backbone và một khối C3k2 có attention trong neck đều chạy self-attention đa đầu trên feature map 20×20 ở stride 32; mọi lớp có độ phân giải cao hơn đều dùng phép tích chập.