Sequence-to-Sequence Models

Model chuỗi-sang-chuỗi (seq2seq) chuyển một chuỗi thành chuỗi khác có thể có độ dài khác nhau, chẳng hạn câu tiếng Anh thành bản dịch tiếng Pháp, bài viết dài thành bản tóm tắt hoặc đoạn âm thanh thành bản chép lời. Hầu hết sử dụng thiết kế encoder-decoder: encoder đọc toàn bộ đầu vào thành các biểu diễn nội bộ, còn decoder tạo đầu ra từng token, dựa trên các biểu diễn đó và những token đã tạo trước đó. Phương pháp này đạt hình thức hiện đại vào năm 2014, khi Sutskever, Vinyals và Le tại Google công bố Sequence to Sequence Learning with Neural Networks, còn Cho và cộng sự mô tả một encoder-decoder RNN cho dịch máy. Từ năm 2017, hầu hết model seq2seq được xây dựng từ transformer.

Cách model Seq2Seq hoạt động#

Trong các model năm 2014, mạng bộ nhớ dài-ngắn hạn (LSTM) của encoder đọc câu nguồn từng từ rồi nén thành một vector có độ dài cố định; LSTM của decoder triển khai vector đó thành bản dịch. Sutskever và cộng sự sử dụng LSTM bốn lớp, phát hiện rằng đảo thứ tự từ trong câu nguồn giúp huấn luyện dễ hơn và đạt điểm BLEU 34,8 trên tập kiểm tra WMT'14 Anh-Pháp. Việc nén mọi câu vào một vector gây bất lợi cho đầu vào dài, vì vậy Bahdanau, Cho và Bengio bổ sung cơ chế attention trong Neural Machine Translation by Jointly Learning to Align and Translate, cho phép decoder xem lại mọi trạng thái encoder ở mỗi bước. Transformer giữ nguyên bố cục encoder-decoder này, thay cơ chế hồi quy bằng self-attention và kết nối hai phần bằng cross-attention. Khi suy luận, decoder chạy trong một vòng lặp:

Vì vòng lặp dừng khi decoder phát ra token kết thúc, độ dài đầu ra được học riêng cho từng mẫu. Quá trình giải mã thường giữ lại một số đầu ra ứng viên bằng beam search, lựa chọn tiêu chuẩn cho dịch thuật và nhận dạng tiếng nói.

Huấn luyện bằng teacher forcing#

Trong quá trình huấn luyện, decoder không cần chạy vòng lặp. Với teacher forcing, decoder nhận chuỗi đích đúng được dịch sang phải một vị trí và dự đoán mọi token tiếp theo trong một lượt chạy song song; causal mask đảm bảo mỗi vị trí chỉ thấy các token đích trước đó. Loss là cross-entropy giữa các dự đoán đó và token tiếp theo thực tế. nn.Transformer của PyTorch triển khai kiến trúc encoder-decoder gốc:

import torch
from torch import nn

torch.manual_seed(0)
src_vocab, tgt_vocab, d_model = 1000, 800, 64
embed_src, embed_tgt = nn.Embedding(src_vocab, d_model), nn.Embedding(tgt_vocab, d_model)
model = nn.Transformer(d_model, nhead=4, num_encoder_layers=2, num_decoder_layers=2, batch_first=True)
to_logits = nn.Linear(d_model, tgt_vocab)

source = torch.randint(0, src_vocab, (1, 9))  # a 9-token source sentence
target = torch.randint(0, tgt_vocab, (1, 7))  # start token + a 6-token translation

# Teacher forcing: the decoder reads the correct previous tokens and predicts every next token in parallel
decoder_input, labels = target[:, :-1], target[:, 1:]
causal_mask = nn.Transformer.generate_square_subsequent_mask(decoder_input.size(1))
logits = to_logits(model(embed_src(source), embed_tgt(decoder_input), tgt_mask=causal_mask))
loss = nn.functional.cross_entropy(logits.flatten(0, 1), labels.flatten())

print(f"Source tokens: {source.shape[1]} -> decoder logits: {tuple(logits.shape)}")
print(f"Training loss: {loss.item():.2f}")

Kết quả in ra Source tokens: 9 -> decoder logits: (1, 6, 800), gồm một dự đoán trên từ vựng đích 800 token cho mỗi trong 6 vị trí đích, được tính từ nguồn 9 token chỉ trong một lượt chạy. Loss 6.73 của model chưa huấn luyện gần bằng ln(800) ≈ 6.68, tức loss của một dự đoán ngẫu nhiên đồng xác suất. Vì khi huấn luyện luôn đưa vào các token trước đó đúng, còn khi suy luận lại đưa vào các dự đoán của chính model, lỗi có thể cộng dồn trong lúc suy luận; hiện tượng này gọi là thiên lệch phơi nhiễm.

Seq2Seq và các kiến trúc liên quan#

• Model chỉ có encoder như BERT: Các model này đọc đầu vào theo cả hai chiều và xuất ra một biểu diễn cho mỗi token, phù hợp với phân loại và gán thẻ.
• Large language model (LLM) chỉ có decoder: Các model như GPT đặt đầu vào và đầu ra trong cùng một chuỗi, xử lý tác vụ seq2seq bằng cách tiếp tục prompt; đây là cách hầu hết tác vụ tạo văn bản được thực hiện ngày nay.
• Mạng neural hồi quy (RNN) và GRU: Các lớp hồi quy bên trong encoder và decoder nguyên bản năm 2014. Cho và cộng sự giới thiệu gated recurrent unit trong chính bài báo về encoder-decoder của họ.

Ứng dụng#

Năm 2016, Google chuyển Google Translate sang hệ thống GNMT, một encoder và decoder LSTM 8 lớp có attention; dịch thuật vẫn là tác vụ seq2seq tiêu biểu. T5 của Google biểu diễn mọi tác vụ xử lý ngôn ngữ tự nhiên (NLP) dưới dạng chuyển văn bản thành văn bản, bao gồm tóm tắt văn bản và hỏi đáp. Whisper của OpenAI là Transformer encoder-decoder để nhận dạng giọng nói, được huấn luyện trên 680.000 giờ âm thanh. Model thị giác dùng cùng mô hình cho tạo chú thích ảnh và nhận dạng ký tự quang học (OCR); Florence-2 của Microsoft xử lý chú thích, grounding và detection bằng đầu ra văn bản từ một model seq2seq, còn phiên bản Large chạy trên Ultralytics Platform để tự động gán nhãn. Pix2Seq của Google biến phát hiện đối tượng thành seq2seq bằng cách biểu diễn mỗi đối tượng thành năm token rời rạc: bốn tọa độ được lượng tử hóa và một lớp. RT-DETR, detector thời gian thực của Baidu chạy trong package Ultralytics, giữ encoder và decoder cross-attention nhưng để decoder tinh chỉnh song song 300 truy vấn đối tượng, nhờ đó mọi box được tạo ra chỉ trong một lượt.