Long Short-Term Memory (LSTM)

Bộ nhớ ngắn hạn dài hạn (LSTM) là kiến trúc mạng nơ-ron hồi quy (RNN), bổ sung bộ nhớ có cổng — trạng thái cell — bên cạnh trạng thái ẩn của RNN đơn giản, nhờ đó có thể lưu thông tin qua hàng trăm hoặc hàng nghìn bước thời gian. Sepp Hochreiter và Jürgen Schmidhuber giới thiệu kiến trúc này năm 1997 để khắc phục vấn đề vanishing gradient, vốn khiến RNN đơn giản không thể học các phụ thuộc dài hạn; bài báo của họ cho biết mô hình có thể nối liền các độ trễ thời gian hơn 1.000 bước. Trong thập niên 2010, LSTM được dùng trong nhận dạng tiếng nói, dịch máy và nhận dạng chữ viết tay, cho đến khi transformer thay thế LSTM trong hầu hết tác vụ ngôn ngữ. LSTM vẫn phổ biến trong phân tích chuỗi thời gian, luồng dữ liệu cảm biến và model chạy trên thiết bị, nơi trạng thái có kích thước cố định và chi phí mỗi bước không đổi là những yếu tố quan trọng.

Cách một cell LSTM hoạt động#

Ở mỗi bước thời gian t, LSTM đọc đầu vào xₜ và trạng thái ẩn trước đó hₜ₋₁ rồi tính ba cổng cùng một ứng viên, mỗi thành phần có trọng số riêng. Các cổng dùng hàm sigmoid, nên mọi phần tử nằm trong khoảng từ 0 đến 1; ứng viên dùng tanh, nên nằm trong khoảng từ −1 đến 1:

• Cổng quên: fₜ = σ(W_f xₜ + U_f hₜ₋₁ + b_f) quyết định giữ lại bao nhiêu phần tử của trạng thái cell cũ.
• Cổng đầu vào: iₜ = σ(W_i xₜ + U_i hₜ₋₁ + b_i) quyết định ghi bao nhiêu nội dung từ ứng viên.
• Ứng viên: gₜ = tanh(W_g xₜ + U_g hₜ₋₁ + b_g) đề xuất nội dung mới.
• Cổng đầu ra: oₜ = σ(W_o xₜ + U_o hₜ₋₁ + b_o) quyết định mức độ nội dung của cell được đưa ra.

Sau đó, hai trạng thái được cập nhật như sau: cₜ = fₜ ⊙ cₜ₋₁ + iₜ ⊙ gₜ và hₜ = oₜ ⊙ tanh(cₜ), trong đó ⊙ là phép nhân theo từng phần tử. Trạng thái cell là bộ nhớ dài hạn, còn trạng thái ẩn là đầu ra ngắn hạn được đưa vào layer tiếp theo và bước thời gian tiếp theo.

Phép cập nhật cell có dạng cộng. Gradient của cₜ theo cₜ₋₁ là fₜ tại từng phần tử, vì vậy khi cổng quên duy trì giá trị gần 1, tín hiệu lỗi truyền ngược qua nhiều bước gần như không đổi; bài báo ban đầu gọi đường truyền này là constant error carousel. LSTM năm 1997 chưa có cổng quên và các cell chỉ có thể tích lũy. Năm 2000, Felix Gers, Schmidhuber và Fred Cummins bổ sung cổng quên để các cell có thể đặt lại; ngày nay mọi LSTM tiêu chuẩn đều có cổng này. Khởi tạo bias của cổng quên bằng 1, theo đề xuất của Rafal Jozefowicz và các cộng sự năm 2015, giúp cổng mở trong giai đoạn đầu huấn luyện để mạng bắt đầu bằng việc ghi nhớ.

LSTM trong PyTorch#

nn.LSTM của PyTorch chạy cell trên toàn bộ chuỗi và trả về trạng thái ẩn ở mỗi bước cùng trạng thái ẩn và trạng thái cell cuối cùng. Đoạn mã dưới đây phân loại đoạn video ngắn từ vector feature theo từng frame, chẳng hạn feature được trích xuất từ mỗi frame bằng mạng nơ-ron tích chập (CNN):

import torch
from torch import nn

# 8 video clips, 16 frames each, 512 features per frame: (batch, time, features)
clips = torch.randn(8, 16, 512)

# One LSTM layer with a 128-dim hidden state, and a classifier over 5 actions
lstm = nn.LSTM(input_size=512, hidden_size=128, batch_first=True)
classifier = nn.Linear(128, 5)

# output holds h at every step; h_n and c_n are the final hidden and cell states
output, (h_n, c_n) = lstm(clips)
logits = classifier(h_n[-1])
print(f"output {tuple(output.shape)}, h_n {tuple(h_n.shape)}, c_n {tuple(c_n.shape)}, logits {tuple(logits.shape)}")

# Each weight matrix stacks four blocks of 128 rows: input gate, forget gate, candidate, output gate
print(f"Input weights {tuple(lstm.weight_ih_l0.shape)}, recurrent weights {tuple(lstm.weight_hh_l0.shape)}")

Đoạn mã in ra output (8, 16, 128), h_n (1, 8, 128), c_n (1, 8, 128), logits (8, 5) và Input weights (512, 512), recurrent weights (512, 128). Trạng thái ẩn cuối cùng tóm tắt mỗi đoạn clip 16 frame cho bộ phân loại năm lớp; mỗi ma trận trọng số có 4 × 128 = 512 hàng vì PyTorch lưu bốn khối cổng trong một ma trận.

LSTM và các kiến trúc liên quan#

• RNN đơn giản: Viết lại toàn bộ trạng thái qua một layer tanh ở mỗi bước, khiến gradient co lại hoặc tăng theo cấp số nhân theo độ dài chuỗi, nên khó học các phụ thuộc dài hạn.
• GRU: Gộp trạng thái cell và trạng thái ẩn, đồng thời dùng hai cổng thay vì ba; do đó có ba khối trọng số thay vì bốn và số tham số bằng ba phần tư LSTM ở cùng độ rộng. Không kiến trúc nào luôn vượt trội trên mọi tác vụ.
• Transformer: Xử lý song song mọi vị trí bằng self-attention, nhờ vậy huấn luyện nhanh hơn nhiều trên GPU và truy cập trực tiếp ngữ cảnh ở xa; vì thế transformer đã thay thế LSTM trong mô hình hóa ngôn ngữ và dịch thuật. Chi phí của attention tăng theo độ dài ngữ cảnh, còn LSTM dùng cùng lượng tính toán và bộ nhớ cho mỗi bước mới.
• xLSTM: xLSTM, do nhóm của Hochreiter phát triển năm 2024, bổ sung cơ chế gating hàm mũ và bộ nhớ ma trận có thể huấn luyện song song. Model ngôn ngữ 7 tỷ tham số xLSTM 7B được công bố tại ICML 2025, đạt hiệu năng tương đương các model transformer có kích thước tương tự và suy luận nhanh hơn.

Ứng dụng#

• Nhận dạng tiếng nói: Năm 2015, Google chuyển tính năng tìm kiếm bằng giọng nói sang các model âm học LSTM được huấn luyện bằng phương pháp phân loại kết nối theo thời gian (CTC); các bộ nhận dạng chạy trên thiết bị đã dựa vào LSTM xếp chồng trong thời gian dài.
• Dịch máy: Google Neural Machine Translation ra mắt năm 2016, sử dụng tám layer LSTM xếp chồng trong encoder và tám layer trong decoder.
• Dự báo lũ: Hệ thống dự báo lũ của Google, được mô tả trong Nature năm 2024, dùng mạng LSTM để dự đoán lưu lượng sông từ dữ liệu thời tiết và dự báo lũ cực đoan ở lưu vực không có trạm đo trước tối đa năm ngày.
• Nhận diện hành động: CNN mã hóa từng frame video, còn LSTM đọc chuỗi feature của các frame để gán nhãn cho clip — cấu trúc được sử dụng trong đoạn mã phía trên.
• Dự đoán quỹ đạo: Social LSTM chạy một LSTM cho mỗi người đi bộ và tổng hợp trạng thái ẩn của những người ở gần để dự báo đường đi trong đám đông. YOLO26 ở chế độ tracking gán cho mỗi người một ID ổn định qua các frame video, biến các phát hiện theo từng frame thành lịch sử vị trí mà hệ thống dự báo này sử dụng.