Attention Mechanism

Cơ chế chú ý là một kỹ thuật nền tảng trong trí tuệ nhân tạo (AI) mô phỏng khả năng nhận thức của con người trong việc tập trung vào các chi tiết cụ thể đồng thời bỏ qua những thông tin không liên quan. Trong bối cảnh của học sâu (DL), cơ chế này cho phép một mạng thần kinh (NN) tự động gán các mức độ quan trọng, hay "trọng số", khác nhau cho các phần khác nhau của dữ liệu đầu vào. Thay vì xử lý toàn bộ hình ảnh hoặc câu văn với sự chú trọng như nhau, model học cách tập trung vào các đặc trưng quan trọng nhất—chẳng hạn như một từ cụ thể trong câu để hiểu ngữ cảnh, hoặc một vật thể khác biệt trong một khung cảnh thị giác phức tạp. Đột phá này chính là động lực thúc đẩy kiến trúc Transformer, vốn đã cách mạng hóa các lĩnh vực từ Xử lý ngôn ngữ tự nhiên (NLP) cho đến thị giác máy tính (CV) tiên tiến.

Link to this sectionCơ chế chú ý hoạt động như thế nào#

Được thiết kế ban đầu để giải quyết các hạn chế về bộ nhớ trong Mạng thần kinh tái phát (RNNs), các cơ chế chú ý giải quyết vấn đề đạo hàm biến mất bằng cách tạo ra các kết nối trực tiếp giữa các phần cách xa nhau trong một chuỗi dữ liệu. Quá trình này thường được mô tả bằng phép ẩn dụ về truy xuất thông tin bao gồm ba thành phần: Truy vấn (Queries), Khóa (Keys) và Giá trị (Values).

• Truy vấn (Query - Q): Đại diện cho những gì model đang tìm kiếm (ví dụ: chủ ngữ của một câu).
• Khóa (Key - K): Đóng vai trò là định danh cho các thông tin có sẵn trong đầu vào.
• Giá trị (Value - V): Chứa nội dung thông tin thực tế.

Bằng cách so sánh Truy vấn với các Khóa khác nhau, model tính toán điểm chú ý. Điểm số này xác định lượng thông tin Giá trị được truy xuất và sử dụng để tạo ra đầu ra. Điều này cho phép các model xử lý hiệu quả các phụ thuộc tầm xa, hiểu được mối quan hệ giữa các điểm dữ liệu bất kể khoảng cách giữa chúng.

Link to this sectionCác ứng dụng trong thực tế#

Các cơ chế chú ý đã tạo điều kiện cho một số tiến bộ nổi bật nhất trong công nghệ hiện đại.

• Dịch máy: Các hệ thống như Google Translate dựa vào cơ chế chú ý để căn chỉnh từ ngữ giữa các ngôn ngữ. Khi dịch "The black cat" (tiếng Anh) sang "Le chat noir" (tiếng Pháp), model phải đảo ngược trật tự tính từ-danh từ. Cơ chế chú ý cho phép bộ giải mã (decoder) tập trung vào "black" khi tạo ra "noir" và "cat" khi tạo ra "chat", đảm bảo tính chính xác về ngữ pháp.
• Phân tích hình ảnh y tế: Trong chăm sóc sức khỏe, các bản đồ chú ý giúp bác sĩ chẩn đoán hình ảnh bằng cách làm nổi bật các vùng khả nghi trong ảnh X-quang hoặc quét MRI. Ví dụ, khi chẩn đoán các bất thường trong tập dữ liệu khối u não, model tập trung sức mạnh xử lý vào mô khối u trong khi lọc bỏ các mô não khỏe mạnh, từ đó nâng cao độ chính xác trong chẩn đoán.
• Xe tự lái: Xe tự lái sử dụng cơ chế chú ý thị giác để ưu tiên các yếu tố đường bộ quan trọng. Giữa một con phố đông đúc, hệ thống tập trung mạnh vào người đi bộ và đèn giao thông—xem chúng là các tín hiệu ưu tiên cao—trong khi giảm bớt sự chú ý vào các yếu tố nền tĩnh như bầu trời hoặc các tòa nhà.

Link to this sectionCơ chế chú ý so với Tích chập (Convolution)#

Điều quan trọng là phải phân biệt cơ chế chú ý với Mạng thần kinh tích chập (CNNs). Trong khi CNN xử lý dữ liệu cục bộ bằng cách sử dụng một cửa sổ cố định (kernel) để phát hiện các cạnh và kết cấu, cơ chế chú ý xử lý dữ liệu một cách toàn cục, liên kết mọi phần của đầu vào với mọi phần khác.

• Tự chú ý (Self-Attention): Một loại chú ý đặc biệt trong đó model tự xem xét chính nó để hiểu ngữ cảnh trong một chuỗi dữ liệu duy nhất.
• Hiệu suất: Các model sử dụng thuần cơ chế chú ý có thể tốn kém về tài nguyên tính toán (độ phức tạp bậc hai). Các kỹ thuật tối ưu hóa hiện đại như Flash Attention tận dụng hiệu quả hơn phần cứng GPU để đẩy nhanh quá trình huấn luyện.

Trong khi các model hiện đại như Ultralytics YOLO26 được tối ưu hóa cho suy luận thời gian thực sử dụng các cấu trúc CNN tiên tiến, các kiến trúc lai như RT-DETR (Real-Time Detection Transformer) sử dụng cơ chế chú ý một cách rõ ràng để đạt được độ chính xác cao. Cả hai loại model đều có thể được huấn luyện và triển khai dễ dàng bằng cách sử dụng Nền tảng Ultralytics.

Link to this sectionVí dụ về mã#

Ví dụ Python sau đây minh họa cách thực hiện suy luận bằng RT-DETR, một kiến trúc model dựa trên cơ chế chú ý cho tác vụ phát hiện đối tượng.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which uses attention mechanisms
# This model captures global context effectively compared to pure CNNs
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of detections found via transformer attention
print(f"Detected {len(results[0].boxes)} objects using attention-based detection.")