Transformer-XL

Transformer-XL là một Transformer model ngôn ngữ duy trì ngữ cảnh qua các đoạn văn bản có độ dài cố định bằng cách lưu đệm trạng thái ẩn của đoạn trước và cho phép đoạn tiếp theo chú ý đến các trạng thái đó. Zihang Dai, Zhilin Yang và cộng sự tại Đại học Carnegie Mellon và Google Brain đã giới thiệu model này trong bài báo Transformer-XL: Model ngôn ngữ có khả năng chú ý vượt qua ngữ cảnh độ dài cố định tại ACL 2019. Transformer thông thường được huấn luyện trên các đoạn cố định, mỗi đoạn là một cửa sổ ngữ cảnh riêng biệt, không thể truy cập nội dung trước điểm bắt đầu của đoạn hiện tại; các tác giả gọi vấn đề này là phân mảnh ngữ cảnh. Transformer-XL học được các phụ thuộc dài hơn 80% so với mạng nơ-ron hồi quy (RNN) và dài hơn 450% so với Transformer thông thường.

Hồi quy ở cấp đoạn#

Khi model xử lý một đoạn, mọi layer đều nối trạng thái ẩn được lưu đệm của đoạn trước với trạng thái của đoạn hiện tại. Query chỉ lấy từ đoạn hiện tại, trong khi key và value bao gồm cả hai đoạn; gradient dừng tại bộ đệm, nên chi phí huấn luyện cho mỗi đoạn không đổi. Một layer attention trong PyTorch minh họa mẫu này:

import torch
from torch import nn

torch.manual_seed(0)
seg_len, dim = 4, 16
attn = nn.MultiheadAttention(dim, num_heads=2, batch_first=True)
hidden = torch.randn(1, 3 * seg_len, dim)  # hidden states for three consecutive segments

memory = torch.empty(1, 0, dim)  # nothing is cached before the first segment
for i, segment in enumerate(hidden.split(seg_len, dim=1), start=1):
    # Queries come from the current segment; keys and values also cover the cached one
    context = torch.cat([memory, segment], dim=1)
    out, weights = attn(segment, context, context)
    print(f"Segment {i}: {weights.shape[1]} queries attend over {weights.shape[2]} positions")
    # Cache this segment for the next one; detach() stops gradients as in Transformer-XL
    memory = segment.detach()

Bốn query của đoạn đầu tiên chỉ thấy bốn token trong đoạn đó; query của mọi đoạn tiếp theo thấy tám token: bốn token của chính đoạn đó cộng với bốn token được lưu đệm. Vì layer n của một đoạn đọc các trạng thái layer n − 1 được lưu đệm từ đoạn liền trước, phạm vi tiếp cận tăng thêm một đoạn sau mỗi layer, đạt khoảng N × L token với độ dài đoạn N và L layer:

Bộ đệm cũng tăng tốc quá trình đánh giá. Transformer thông thường phải dự đoán từng token và tính toán lại toàn bộ cửa sổ cho mỗi token mới, trong khi Transformer-XL dùng lại các trạng thái đã lưu đệm, giúp đánh giá nhanh hơn tới 1.800 lần trở lên. Tính năng theo dõi Ultralytics YOLO26 gặp vấn đề phân mảnh tương tự khi script chuyển video cho model.track() từng khung hình một: persist=True duy trì trạng thái của bộ theo dõi giữa các lần gọi, nhờ vậy mỗi đối tượng giữ nguyên ID từ khung hình này sang khung hình tiếp theo.

Mã hóa vị trí tương đối#

Việc dùng lại trạng thái đã lưu đệm phá vỡ vị trí tuyệt đối: token đầu tiên của đoạn được lưu đệm và token đầu tiên của đoạn hiện tại sẽ có cùng embedding vị trí. Thay vào đó, Transformer-XL tính mỗi điểm attention từ nội dung của query và key cộng với mã hóa hình sin của khoảng cách giữa chúng, cùng hai vector độ lệch được học và dùng chung qua các vị trí: một vector cho nội dung, một vector cho vị trí. Vì điểm số chỉ phụ thuộc vào khoảng cách, khi đánh giá model có thể chú ý đến bộ đệm dài hơn những gì đã thấy trong quá trình huấn luyện. Embedding vị trí xoay (RoPE), được dùng trong hầu hết model ngôn ngữ lớn (LLM) hiện nay, cũng khiến điểm attention phụ thuộc vào vị trí tương đối.

Kết quả và ảnh hưởng#

Transformer-XL thiết lập kết quả tiên tiến nhất mới trên năm benchmark: 0,99 bit mỗi ký tự trên enwik8, 1,08 trên text8 và perplexity lần lượt là 18,3 trên WikiText-103, 21,8 trên One Billion Word và 54,5 trên Penn Treebank mà không cần tinh chỉnh. Chỉ được huấn luyện trên WikiText-103, model vẫn tạo được các bài viết mới khá mạch lạc, dài hàng nghìn token. XLNet, do một số tác giả tương tự phát triển, xây dựng quá trình tiền huấn luyện hiểu ngôn ngữ tự nhiên dựa trên kiến trúc Transformer-XL; Compressive Transformer của DeepMind mở rộng bộ đệm bằng cách nén các ký ức cũ thay vì loại bỏ chúng.

Transformer-XL và các model liên quan#

• Bộ nhớ dài-ngắn hạn (LSTM): Cập nhật một trạng thái ẩn theo từng token, nên thông tin từ xa phải truyền qua mọi bước ở giữa.
• Longformer: Đọc toàn bộ tài liệu gồm 4.096 token cùng lúc bằng attention theo cửa sổ và attention toàn cục, không cần hồi quy.
• Bộ đệm KV: Lưu key và value của các token trước đó trong quá trình tạo để không phải tính toán lại. Bộ nhớ của Transformer-XL cũng được dùng trong huấn luyện, với gradient dừng tại ranh giới đoạn.
• Model không gian trạng thái (SSM): Nén toàn bộ lịch sử vào một trạng thái có kích thước cố định.