Self-Attention

Self-attention là một cơ chế nền tảng trong deep learning, cho phép các model đánh giá mức độ quan trọng của những phần tử khác nhau trong một chuỗi đầu vào so với nhau. Không giống các kiến trúc truyền thống xử lý dữ liệu tuần tự hoặc chỉ tập trung vào các vùng lân cận, self-attention cho phép một mạng nơ-ron xem xét toàn bộ ngữ cảnh đồng thời. Khả năng này giúp các hệ thống xác định những mối quan hệ phức tạp giữa các phần dữ liệu cách xa nhau, chẳng hạn như các từ trong một câu hoặc các vùng riêng biệt trong một hình ảnh. Đây là khối xây dựng cốt lõi của kiến trúc Transformer, nền tảng thúc đẩy những tiến bộ vượt bậc trong AI tạo sinh và các hệ thống perception hiện đại.

Self-Attention hoạt động như thế nào#

Cơ chế này mô phỏng sự tập trung nhận thức bằng cách gán một trọng số, thường được gọi là "điểm attention", cho từng đặc trưng đầu vào. Để tính các điểm số này, model chuyển đổi dữ liệu đầu vào—thường được biểu diễn dưới dạng embedding—thành ba vector riêng biệt: Query, Key và Value.

• Query (Q): Đại diện cho phần tử hiện tại đang tìm kiếm ngữ cảnh liên quan từ phần còn lại của chuỗi.
• Key (K): Đóng vai trò là nhãn hoặc mã định danh cho mọi phần tử trong chuỗi, được dùng để đối sánh với query.
• Value (V): Chứa nội dung thông tin thực tế của phần tử sẽ được tổng hợp.

Model so sánh Query của một phần tử với Key của tất cả các phần tử khác để xác định mức độ tương thích. Các điểm tương thích này được chuẩn hóa bằng hàm softmax để tạo ra các trọng số có dạng như xác suất. Sau đó, các trọng số này được áp dụng cho Value, tạo ra một biểu diễn giàu ngữ cảnh. Quy trình này cho phép Mô hình ngôn ngữ lớn (LLMs) và các hệ thống thị giác ưu tiên thông tin quan trọng, đồng thời lọc bỏ nhiễu.

Các ứng dụng trong thực tế#

Tính linh hoạt của self-attention đã dẫn đến việc cơ chế này được áp dụng rộng rãi trong nhiều lĩnh vực của Trí tuệ nhân tạo (AI).

• Xử lý ngôn ngữ tự nhiên (NLP): Trong các tác vụ như dịch máy, self-attention giải quyết sự mơ hồ bằng cách liên kết đại từ với đối tượng mà chúng tham chiếu. Ví dụ, trong câu "The animal didn't cross the street because it was too tired," model sử dụng self-attention để liên kết mạnh "it" với "animal" thay vì "street". Khả năng nhận biết ngữ cảnh này hỗ trợ các công cụ như Google Translate.
• Ngữ cảnh hình ảnh toàn cục: Trong Thị giác máy tính (CV), các kiến trúc như Vision Transformer (ViT) chia hình ảnh thành các patch và áp dụng self-attention để hiểu toàn cảnh. Điều này rất quan trọng đối với phát hiện đối tượng trong những môi trường phức tạp, nơi việc nhận diện một đối tượng phụ thuộc vào khả năng hiểu bối cảnh xung quanh.

Phân biệt các thuật ngữ liên quan#

Mặc dù thường được thảo luận cùng với các khái niệm tương tự, những thuật ngữ này có các định nghĩa kỹ thuật riêng biệt:

• Cơ chế attention: Nhóm rộng các kỹ thuật cho phép model tập trung vào những phần dữ liệu cụ thể. Nhóm này bao gồm Cross-Attention, trong đó model sử dụng một chuỗi (chẳng hạn đầu ra của decoder) để truy vấn một chuỗi khác (chẳng hạn đầu vào của encoder).
• Self-Attention: Một loại attention cụ thể, trong đó Query, Key và Value đều bắt nguồn từ cùng một chuỗi đầu vào. Cơ chế này được thiết kế để học các phụ thuộc nội tại trong một dataset duy nhất.
• Flash Attention: Một thuật toán tối ưu hóa được các nhà nghiên cứu tại Đại học Stanford phát triển, giúp việc tính toán self-attention nhanh hơn đáng kể và sử dụng bộ nhớ hiệu quả hơn trên GPUs mà không làm thay đổi đầu ra toán học.

Ví dụ về code#

Đoạn mã Python sau đây minh họa cách sử dụng RTDETR, một bộ phát hiện đối tượng dựa trên Transformer được cung cấp trong package ultralytics. Không giống các mạng tích chập tiêu chuẩn, model này phụ thuộc nhiều vào self-attention để xử lý các đặc trưng hình ảnh.

from ultralytics import RTDETR

# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")

Quá trình phát triển và tác động trong tương lai#

Self-attention đã giải quyết hiệu quả vấn đề gradient biến mất, vốn cản trở các Mạng nơ-ron hồi quy (RNNs) trước đây, qua đó cho phép huấn luyện các foundation model quy mô lớn. Mặc dù rất hiệu quả, chi phí tính toán của self-attention tiêu chuẩn tăng theo cấp số nhân với độ dài chuỗi. Để giải quyết vấn đề này, nghiên cứu hiện nay tập trung vào các cơ chế linear attention hiệu quả.

Ultralytics tích hợp những tiến bộ này vào các model tiên tiến như YOLO26, kết hợp tốc độ của CNNs với sức mạnh ngữ cảnh của attention để mang lại suy luận thời gian thực vượt trội. Các model được tối ưu hóa này có thể dễ dàng được huấn luyện và triển khai thông qua Nền tảng Ultralytics, đơn giản hóa quy trình làm việc cho các developer xây dựng thế hệ ứng dụng thông minh tiếp theo.