Gated Recurrent Unit (GRU)

Unit hồi tiếp có cổng (GRU) là một ô mạng nơ-ron hồi tiếp (RNN) xử lý chuỗi từng bước một và dùng hai cổng có thể học—cổng cập nhật và cổng đặt lại—để quyết định lượng thông tin cần giữ trong bộ nhớ và lượng thông tin cần ghi đè ở mỗi bước. Kyunghyun Cho và các cộng sự giới thiệu GRU năm 2014 trong một bộ mã hóa-giải mã RNN cho dịch máy. Các cổng giúp gradient lan truyền qua nhiều bước thời gian, nhờ đó GRU học được quan hệ phụ thuộc dài hơn RNN đơn giản, vốn gặp vấn đề gradient biến mất. GRU là biến thể đơn giản hóa của mạng bộ nhớ dài-ngắn hạn (LSTM), với một trạng thái ẩn thay vì hai và ba khối trọng số thay vì bốn; GRU được dùng cho phân tích chuỗi thời gian, tiếng nói và các dữ liệu tuần tự khác.

GRU hoạt động như thế nào#

Ở mỗi bước thời gian t, GRU kết hợp đầu vào hiện tại xₜ với trạng thái ẩn trước đó hₜ₋₁. Hai cổng dùng hàm sigmoid để tạo ra giá trị từ 0 đến 1 cho từng phần tử của trạng thái:

• Cổng đặt lại: rₜ = σ(Wᵣxₜ + Uᵣhₜ₋₁ + bᵣ) quyết định mức độ sử dụng trạng thái trước đó khi đề xuất nội dung mới. Giá trị gần 0 cho phép ô bỏ qua thông tin quá khứ, hữu ích tại các ranh giới như đầu một cụm từ mới.
• Cổng cập nhật: zₜ = σ(W_z xₜ + U_z hₜ₋₁ + b_z) quyết định lượng thông tin cần giữ lại từ trạng thái trước đó. Giá trị gần 1 sao chép trạng thái cũ gần như nguyên vẹn, giúp thông tin tồn tại qua những khoảng dài.
• Trạng thái ứng viên: h̃ₜ = tanh(Wxₜ + U(rₜ ⊙ hₜ₋₁) + b) đề xuất nội dung mới từ đầu vào và thông tin quá khứ đã được điều chỉnh bằng cổng đặt lại, sử dụng tanh để giữ các giá trị trong khoảng −1 đến 1.
• Trạng thái mới: hₜ = (1 − zₜ) ⊙ h̃ₜ + zₜ ⊙ hₜ₋₁ kết hợp trạng thái ứng viên với trạng thái cũ theo từng phần tử.

Khi cổng cập nhật duy trì giá trị gần 1, trạng thái mới gần như là bản sao của trạng thái cũ và gradient lan truyền ngược qua bản sao đó mà suy giảm rất ít. Đường dẫn cộng này có vai trò tương tự trạng thái ô trong LSTM. Các phương trình trên theo bài báo gốc, trong đó zₜ gán trọng số cho trạng thái cũ; một số tài liệu hoán đổi vai trò của zₜ và 1 − zₜ để mô tả cùng một ô. nn.GRU của PyTorch dùng phép kết hợp tương tự nhưng áp dụng cổng đặt lại sau phép nhân ma trận, theo dạng rₜ ⊙ (Uhₜ₋₁ + b), một biến thể trạng thái ứng viên được sử dụng rộng rãi.

GRU trong PyTorch#

Đoạn mã dưới đây chạy GRU trên một chuỗi vector đặc trưng, chẳng hạn đặc trưng từng khung hình từ một video, rồi so sánh kích thước của GRU với LSTM có cùng chiều rộng:

import torch
from torch import nn

# A sequence of 64-dim features from 5 video frames: (batch, time, features)
frames = torch.randn(1, 5, 64)

# A GRU with a 128-dim hidden state, and an LSTM of the same size for comparison
gru = nn.GRU(input_size=64, hidden_size=128, batch_first=True)
lstm = nn.LSTM(input_size=64, hidden_size=128, batch_first=True)

# outputs holds the hidden state at every step; h_n is the final state
outputs, h_n = gru(frames)
print(f"Outputs: {tuple(outputs.shape)}, final state: {tuple(h_n.shape)}")

# GRU weights cover 3 blocks (reset, update, candidate); LSTM weights cover 4
gru_params = sum(p.numel() for p in gru.parameters())
lstm_params = sum(p.numel() for p in lstm.parameters())
print(f"GRU: {gru_params:,} parameters, LSTM: {lstm_params:,} parameters")

Đoạn mã in ra Outputs: (1, 5, 128), final state: (1, 1, 128) và GRU: 74,496 parameters, LSTM: 99,328 parameters. GRU trả về một trạng thái 128 chiều cho mỗi khung hình cùng với trạng thái cuối cùng, tóm tắt toàn bộ chuỗi để đưa vào classifier phía sau; GRU chỉ cần đúng ba phần tư số tham số của LSTM.

GRU so với LSTM và Transformer#

• LSTM: Duy trì một trạng thái ô riêng bên cạnh trạng thái ẩn và dùng ba cổng (đầu vào, quên và đầu ra). GRU gộp hai trạng thái và bỏ cổng đầu ra, nhờ đó huấn luyện nhanh hơn ở mỗi bước với ít tham số hơn. Trong phép so sánh thực nghiệm của Junyoung Chung và các cộng sự năm 2014, GRU đạt kết quả ngang LSTM trong mô hình hóa tín hiệu âm thanh và nhạc đa âm; trên thực tế, không kiến trúc nào luôn vượt trội ở mọi tác vụ.
• RNN đơn giản: Ghi đè toàn bộ trạng thái ở mỗi bước mà không có cổng, khiến gradient biến mất hoặc bùng nổ trong các chuỗi dài và gây khó khăn khi kết nối các sự kiện cách nhau bởi khoảng thời gian dài.
• Transformer: Xử lý song song mọi vị trí trong chuỗi bằng attention, nhờ đó huấn luyện nhanh hơn nhiều trên GPU và xử lý ngữ cảnh dài tốt hơn; vì vậy, Transformer đã thay thế mạng hồi tiếp trong phần lớn tác vụ ngôn ngữ. GRU duy trì trạng thái có kích thước không đổi và chi phí mỗi bước không đổi dù chuỗi dài đến đâu, nên vẫn phù hợp với âm thanh truyền phát, dữ liệu cảm biến và thiết bị nhỏ.

Ứng dụng#

• Luồng quang học: RAFT, mô hình đoạt giải bài báo xuất sắc nhất tại ECCV 2020, tinh chỉnh ước lượng luồng qua nhiều vòng lặp bằng GRU tích chập—một GRU thay các phép nhân ma trận bằng phép tích chập để trạng thái của nó là một feature map.
• Bảo trì dự đoán và dự báo: GRU đọc các luồng dữ liệu rung động, nhiệt độ hoặc nhu cầu để dự đoán sự cố hoặc giá trị tương lai; thường được dùng trên phần cứng nhúng, nơi model nhỏ gọn rất quan trọng.
• Tiếng nói và âm thanh: Model âm thanh chạy trên thiết bị dùng GRU vì có thể xử lý âm thanh từng khung hình với bộ nhớ nhỏ, cố định. Bộ khử nhiễu RNNoise chạy các lớp GRU theo thời gian thực trên CPU thông thường.
• Nhận dạng hành động: GRU đọc chuỗi đặc trưng hoặc keypoint theo từng khung hình và xuất nhãn hành động cho clip. YOLO26 ở chế độ track gán cho mỗi người một ID cố định qua các khung hình, tạo ra chuỗi bbox hoặc keypoint tư thế theo từng người để GRU phân loại.