Self-Attention

Self-attention là một cơ chế nền tảng trong deep learning cho phép các mô hình đánh giá tầm quan trọng của các phần tử khác nhau trong một chuỗi đầu vào so với nhau. Không giống như các kiến trúc truyền thống xử lý dữ liệu tuần tự hoặc chỉ tập trung vào các vùng lân cận, self-attention cho phép một neural network kiểm tra toàn bộ bối cảnh cùng một lúc. Khả năng này giúp các hệ thống xác định các mối quan hệ phức tạp giữa các phần dữ liệu ở xa, chẳng hạn như các từ trong một câu hoặc các vùng khác nhau trong một hình ảnh. Nó đóng vai trò là khối xây dựng cốt lõi cho kiến trúc Transformer, yếu tố đã thúc đẩy những tiến bộ lớn trong generative AI và các hệ thống thị giác hiện đại.

Cách thức hoạt động của Self-Attention#

Cơ chế này mô phỏng sự tập trung nhận thức bằng cách gán trọng số, thường được gọi là "điểm attention" (attention score), cho mỗi đặc trưng đầu vào. Để tính toán các điểm số này, mô hình chuyển đổi dữ liệu đầu vào—thường được biểu diễn dưới dạng embeddings—thành ba véc-tơ riêng biệt: Query, Key, và Value.

• Query (Q): Đại diện cho phần tử hiện tại đang tìm kiếm ngữ cảnh liên quan từ phần còn lại của chuỗi.
• Key (K): Đóng vai trò như một nhãn hoặc mã định danh cho mọi phần tử trong chuỗi mà query sẽ được so khớp dựa trên đó.
• Value (V): Chứa nội dung thông tin thực tế của phần tử sẽ được tổng hợp.

Mô hình so sánh Query của một phần tử với Key của tất cả các phần tử khác để xác định độ tương thích. Các điểm tương thích này được chuẩn hóa bằng hàm softmax để tạo ra các trọng số có tính chất xác suất. Các trọng số này sau đó được áp dụng vào các Value, tạo ra một biểu diễn giàu ngữ cảnh. Quá trình này cho phép các Large Language Models (LLMs) và hệ thống thị giác ưu tiên thông tin quan trọng trong khi lọc bỏ nhiễu.

Các ứng dụng trong thực tế#

Tính linh hoạt của self-attention đã dẫn đến việc áp dụng rộng rãi trên nhiều lĩnh vực của Artificial Intelligence (AI).

• Natural Language Processing (NLP): Trong các tác vụ như machine translation, self-attention giải quyết sự mơ hồ bằng cách liên kết đại từ với từ chỉ định của chúng. Ví dụ, trong câu "The animal didn't cross the street because it was too tired", mô hình sử dụng self-attention để gắn kết mạnh mẽ "it" với "animal" thay vì "street". Nhận thức ngữ cảnh này hỗ trợ các công cụ như Google Translate.
• Global Image Context: Trong Computer Vision (CV), các kiến trúc như Vision Transformer (ViT) chia hình ảnh thành các bản vá (patches) và áp dụng self-attention để hiểu toàn cảnh khung cảnh. Điều này rất quan trọng đối với object detection trong các môi trường phức tạp, nơi việc nhận diện một đối tượng phụ thuộc vào việc hiểu rõ môi trường xung quanh nó.

Phân biệt các thuật ngữ liên quan#

Mặc dù thường được thảo luận cùng với các khái niệm tương tự, những thuật ngữ này có các định nghĩa kỹ thuật riêng biệt:

• Attention Mechanism: Danh mục rộng lớn các kỹ thuật cho phép mô hình tập trung vào các phần dữ liệu cụ thể. Nó bao gồm Cross-Attention, nơi một mô hình sử dụng một chuỗi (như đầu ra của decoder) để truy vấn một chuỗi khác (như đầu vào của encoder).
• Self-Attention: Một loại attention cụ thể nơi Query, Key và Value đều bắt nguồn từ cùng một chuỗi đầu vào. Nó được thiết kế để học các phụ thuộc nội bộ trong một tập dữ liệu đơn nhất.
• Flash Attention: Thuật toán tối ưu hóa do các nhà nghiên cứu tại Stanford University phát triển, giúp cho việc tính toán self-attention trở nên nhanh hơn đáng kể và tiết kiệm bộ nhớ hơn trên GPUs mà không làm thay đổi kết quả toán học.

Ví dụ về mã#

Đoạn mã Python sau đây minh họa cách sử dụng RTDETR, một trình phát hiện đối tượng dựa trên Transformer có trong gói ultralytics. Không giống như các mạng tích chập tiêu chuẩn, mô hình này phụ thuộc rất nhiều vào self-attention để xử lý các đặc trưng trực quan.

from ultralytics import RTDETR

# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")

Sự tiến hóa và tác động trong tương lai#

Self-attention đã giải quyết hiệu quả vấn đề vanishing gradient từng cản trở các Recurrent Neural Networks (RNNs) trước đây, cho phép huấn luyện các foundation models quy mô lớn. Mặc dù rất hiệu quả, chi phí tính toán của self-attention tiêu chuẩn tăng theo hàm số bậc hai với chiều dài chuỗi. Để giải quyết vấn đề này, các nghiên cứu hiện tại tập trung vào các cơ chế attention tuyến tính hiệu quả.

Ultralytics tích hợp những tiến bộ này vào các mô hình tiên tiến như YOLO26, kết hợp tốc độ của CNN với sức mạnh ngữ cảnh của attention để mang lại real-time inference vượt trội. Các mô hình đã được tối ưu hóa này có thể dễ dàng được huấn luyện và triển khai thông qua Ultralytics Platform, giúp hợp lý hóa quy trình làm việc cho các nhà phát triển xây dựng các ứng dụng thông minh thế hệ tiếp theo.