Transformer

Transformer là kiến trúc mạng nơ-ron xử lý chuỗi token, chẳng hạn như từ hoặc mảnh ảnh, bằng cách cho phép mỗi token lấy thông tin từ mọi token khác thông qua self-attention. Các nhà nghiên cứu Google giới thiệu kiến trúc này năm 2017 trong bài báo Attention Is All You Need về dịch máy. Các mạng nơ-ron hồi quy (RNN) trước đó đọc từng từ một trong câu, nên không thể song song hóa quá trình huấn luyện trên các vị trí. Transformer xử lý tất cả vị trí cùng lúc; model cơ sở của nó đạt kết quả dịch Anh-Đức tiên tiến nhất sau 12 giờ huấn luyện trên tám GPU. Hiện nay, Transformer là nền tảng của mô hình ngôn ngữ lớn (LLM), vision Transformer, nhận dạng tiếng nói cùng nhiều model phát hiện đối tượng và tạo ảnh.

Cách thức hoạt động của Transformer#

Đầu tiên, các token đầu vào được chuyển thành embedding, tức vector có độ rộng cố định (512 trong model gốc). Sau đó, Transformer áp dụng một chồng các lớp giống hệt nhau, mỗi lớp gồm hai lớp con:

• Self-attention nhiều đầu: Mỗi token tạo ra một vector truy vấn, một vector khóa và một vector giá trị. Đầu ra của token là trung bình có trọng số của tất cả vector giá trị; trọng số phụ thuộc vào mức độ khớp giữa truy vấn của token đó với từng khóa, như mô tả trong cơ chế attention. Nhiều đầu chạy song song, với 8 đầu trong model gốc, cho phép các đầu theo dõi những mối quan hệ khác nhau.
• Mạng truyền thẳng: Mạng hai lớp được áp dụng riêng cho từng token, dùng để biến đổi thông tin mà attention thu thập được.

Mỗi lớp con được bao quanh bởi một kết nối dư, còn chuẩn hóa lớp giúp các activation ổn định. Model gốc xếp chồng 6 lớp như vậy trong encoder để đọc câu nguồn và 6 lớp trong decoder để viết bản dịch từng token. Mỗi lớp decoder bổ sung một bước self-attention có mặt nạ để ẩn các token tương lai, cùng một bước cross-attention đọc đầu ra của encoder:

Attention chỉ so sánh token dựa trên nội dung, nên lớp Transformer không có sẵn khả năng nhận biết thứ tự: xáo trộn token đầu vào chỉ làm xáo trộn đầu ra. Vì vậy, thông tin vị trí được thêm vào embedding token, thông qua các mẫu sin và cos cố định trong bài báo gốc, vector vị trí học được trong BERT và ViT, hoặc embedding vị trí xoay (RoPE) trong phần lớn LLM hiện nay. Đoạn mã PyTorch này minh họa hiệu ứng với một lớp encoder:

import torch
from torch import nn

# Một lớp encoder Transformer và chuỗi gồm 5 embedding token
torch.manual_seed(0)
layer = nn.TransformerEncoderLayer(d_model=32, nhead=4, batch_first=True).eval()
tokens = torch.randn(1, 5, 32)
reverse = torch.arange(4, -1, -1)

# Chỉ self-attention thì bỏ qua thứ tự: đảo ngược đầu vào chỉ đảo ngược đầu ra
print(torch.allclose(layer(tokens[:, reverse])[:, reverse], layer(tokens), atol=1e-5))

# Thêm một vector học được cho mỗi vị trí khiến mỗi đầu ra phụ thuộc vào vị trí của token tương ứng
positions = nn.Embedding(5, 32).weight
reordered = layer(tokens[:, reverse] + positions)[:, reverse]
print(torch.allclose(reordered, layer(tokens + positions), atol=1e-5))

Đoạn mã in True, sau đó là False: đảo ngược token chỉ đảo ngược đầu ra cho đến khi thêm các vector vị trí; sau đó, thứ tự token làm thay đổi đầu ra của từng token.

Model Encoder, Decoder và Encoder-Decoder#

Ba cách sử dụng chồng lớp gốc đảm nhiệm những công việc khác nhau:

• Chỉ encoder: Mỗi token tập trung vào toàn bộ đầu vào theo cả hai chiều, phù hợp với các tác vụ hiểu nội dung. BERT cho văn bản và ViT cho ảnh đều chỉ dùng encoder.
• Chỉ decoder: Mỗi token chỉ tập trung vào các token đứng trước nó, vì vậy model tạo văn bản từng token một. Các model GPT và phần lớn LLM hiện nay sử dụng thiết kế này.
• Encoder-decoder: Encoder đọc một chuỗi, còn decoder tạo chuỗi khác đồng thời tập trung vào chuỗi đầu vào, như trong các model dịch, T5 và hệ thống nhận dạng tiếng nói Whisper.

Transformer trong thị giác máy tính#

Vision Transformer (ViT) xem ảnh như một chuỗi các mảnh 16×16 pixel rồi áp dụng encoder Transformer không chỉnh sửa; Swin Transformer giới hạn attention trong các cửa sổ cục bộ để mở rộng quy mô cho ảnh độ phân giải cao. DETR định nghĩa lại phát hiện đối tượng thành bài toán dự đoán tập hợp: decoder Transformer chuyển một tập cố định các truy vấn đối tượng học được thành các bounding box, mỗi truy vấn ứng với một đối tượng, nhờ đó loại bỏ loại bỏ phi cực đại (NMS) và anchor thiết kế thủ công. Gói Ultralytics chạy RT-DETR của Baidu, phiên bản thời gian thực của thiết kế này. Encoder lai của RT-DETR chỉ áp dụng một lớp encoder Transformer lên feature map stride-32, gồm 400 token với ảnh 640×640; decoder 6 lớp tinh chỉnh 300 truy vấn đối tượng thành kết quả phát hiện cuối cùng mà không cần NMS. Transformer còn tạo ảnh: Transformer khuếch tán đã thay U-Net trong các model tạo ảnh từ văn bản và video gần đây; model thị giác-ngôn ngữ đưa token ảnh vào LLM chỉ có decoder.

Transformer và các kiến trúc liên quan#

• Mạng nơ-ron tích chập (CNN): Phép tích chập nhìn vào một vùng lân cận nhỏ bằng cùng một bộ lọc tại mọi vị trí; giả định tích hợp sẵn này hữu ích với tập dữ liệu nhỏ. Attention có thể liên kết hai vị trí bất kỳ trong một lớp nhưng phải học cấu trúc không gian từ dữ liệu, vì vậy Transformer thường cần nhiều dữ liệu huấn luyện hơn hoặc cần tiền huấn luyện để vượt CNN.
• RNN và LSTM: Chúng duy trì trạng thái kích thước cố định qua từng bước, nên bộ nhớ cho mỗi token không đổi nhưng quá trình huấn luyện diễn ra tuần tự. Transformer giữ mọi token trước đó ở trạng thái sẵn có và huấn luyện song song.
• Mô hình không gian trạng thái: Các kiến trúc như Mamba xử lý chuỗi bằng trạng thái hồi quy, với chi phí tăng tuyến tính theo độ dài; các model lai xen kẽ chúng với những lớp attention.

Self-attention so sánh từng token với mọi token khác, nên chi phí tăng theo bình phương độ dài chuỗi. Chuỗi 4.096 token có khoảng 16,8 triệu cặp truy vấn-khóa trong mỗi đầu của mỗi lớp; tăng độ dài gấp đôi lên 8.192 token khiến số cặp tăng gấp bốn, lên khoảng 67 triệu. FlashAttention giảm lưu lượng bộ nhớ của phép tính này, còn bộ nhớ đệm KV lưu khóa và giá trị của các token trước đó để decoder chỉ tính chúng một lần trong quá trình tạo sinh.