Backpropagation

Lan truyền ngược, viết tắt của "lan truyền lỗi ngược", là thuật toán tính toán mức độ từng trọng số trong mạng nơ-ron góp phần gây ra lỗi của một dự đoán. Bắt đầu từ hàm loss, thuật toán áp dụng quy tắc chuỗi qua từng lớp theo chiều ngược về đầu vào và tái sử dụng từng kết quả trung gian; nhờ đó, một lượt truyền ngược tạo gradient gradient cho mọi trọng số, dù model có hàng nghìn hay hàng tỷ tham số. Sau đó, optimizer dùng các gradient này để cập nhật trọng số; vì vậy, lan truyền ngược là bước học đứng sau hầu như mọi model học sâu. Rumelhart, Hinton và Williams đã phổ biến phương pháp này cho mạng nơ-ron qua bài báo năm 1986 trên Nature, Học biểu diễn bằng cách lan truyền lỗi ngược.

Cách lan truyền ngược hoạt động#

Huấn luyện trên một batch gồm hai lượt truyền. Lượt truyền thuận đưa đầu vào qua từng lớp, lưu các activation trung gian và kết thúc bằng loss. Lượt truyền ngược bắt đầu từ loss và duyệt các lớp theo thứ tự ngược lại. Mỗi lớp nhận gradient của loss theo đầu ra của lớp đó, gọi là gradient thượng nguồn, rồi nhân gradient này với các đạo hàm cục bộ của chính lớp để tạo ra hai kết quả: gradient cho trọng số của lớp, được lưu lại để optimizer sử dụng, và gradient theo đầu vào của lớp, trở thành gradient thượng nguồn cho lớp bên dưới.

Vì mỗi lớp chỉ cần gradient thượng nguồn và các activation đã lưu nên không cần tính đạo hàm lần thứ hai. Theo thuật ngữ vi phân tự động, lan truyền ngược là phép vi phân chế độ ngược trên đồ thị tính toán của mạng; PyTorch xây dựng đồ thị đó trong lượt truyền thuận và duyệt ngược khi gọi loss.backward(). Với mạng có hai trọng số, kết quả autograd của PyTorch có thể được đối chiếu với quy tắc chuỗi viết thủ công:

import torch

# A two-weight network: prediction = w2 * tanh(w1 * x)
x, target = torch.tensor(1.5), torch.tensor(0.5)
w1 = torch.tensor(0.8, requires_grad=True)
w2 = torch.tensor(-1.2, requires_grad=True)

# Forward pass, keeping the hidden activation h for the backward pass
h = torch.tanh(w1 * x)
loss = (w2 * h - target) ** 2

# Backward pass: autograd applies the chain rule from the loss back to each weight
loss.backward()

# The same chain rule by hand, reusing the upstream gradient dL/dy for both weights
dL_dy = 2 * (w2 * h - target)
dL_dw2 = dL_dy * h
dL_dw1 = dL_dy * w2 * (1 - h**2) * x
print(f"autograd: dL/dw1 = {w1.grad:.4f}, dL/dw2 = {w2.grad:.4f}")
print(f"by hand:  dL/dw1 = {dL_dw1:.4f}, dL/dw2 = {dL_dw2:.4f}")

Cả hai dòng đều in ra dL/dw1 = 1.6475, dL/dw2 = -2.5016. Phiên bản viết tay tính dL_dy một lần rồi tái sử dụng cho cả hai trọng số; chính cơ chế tái sử dụng này giúp autograd xử lý được các mạng có hàng tỷ trọng số. Lan truyền ngược qua thời gian (BPTT) là cùng thuật toán đó, áp dụng cho một mạng nơ-ron hồi tiếp được trải dọc theo các bước thời gian.

Lan truyền ngược so với optimizer#

Lan truyền ngược chỉ tính gradient và không thay đổi trọng số. Thuật toán tối ưu hóa như hạ gradient ngẫu nhiên (SGD) hoặc Adam chuyển các gradient đó thành cập nhật trọng số, được điều chỉnh theo learning rate. PyTorch cộng kết quả của mỗi lượt truyền ngược vào các gradient đã lưu trên trọng số, vì vậy một bước optimizer có thể kết hợp nhiều batch:

Quá trình huấn luyện Ultralytics YOLO sử dụng tích lũy gradient để đạt batch danh nghĩa gồm 64 ảnh (nbs=64): sau giai đoạn warmup, một lượt chạy batch=16 lan truyền ngược ở mọi batch nhưng chỉ thực hiện bước optimizer sau mỗi bốn batch, sau khi cắt gradient kết hợp về chuẩn 10.

Gradient biến mất và bùng nổ#

Lan truyền ngược nhân các đạo hàm cục bộ qua từng lớp, vì vậy độ lớn của gradient có thể giảm hoặc tăng theo cấp số nhân theo độ sâu. Khi hầu hết các thừa số nhỏ hơn 1, như ở các đơn vị sigmoid bão hòa, những lớp đầu tiên hầu như không nhận được tín hiệu nào; đó là vấn đề gradient biến mất. Khi hầu hết các thừa số lớn hơn 1, vấn đề gradient bùng nổ tạo ra các lần cập nhật cực lớn và loss NaN. Các hàm kích hoạt thuộc họ ReLU, khởi tạo trọng số theo tỷ lệ, batch normalization và các kết nối tắt của mạng residual giúp giữ độ lớn gradient ổn định qua hàng trăm lớp.

Chi phí tính toán và bộ nhớ#

Mọi activation cần thiết cho đạo hàm cục bộ phải được giữ trong bộ nhớ từ lượt truyền xuôi cho đến khi lượt truyền ngược chạm tới activation đó. Vì vậy, bộ nhớ huấn luyện tăng theo batch size, độ phân giải đầu vào và độ sâu; huấn luyện cũng cần nhiều bộ nhớ hơn suy luận đáng kể. Gradient checkpointing chỉ lưu một số activation rồi tính lại phần còn lại trong lượt truyền ngược, đổi thêm chi phí tính toán lấy mức sử dụng bộ nhớ thấp hơn; còn độ chính xác hỗn hợp giữ hầu hết activation ở định dạng 16-bit, chiếm một nửa dung lượng so với số thực 32-bit. Về tính toán, lượt truyền ngược tốn khoảng gấp đôi lượt truyền xuôi vì mỗi lớp tính gradient cho cả trọng số lẫn đầu vào. Vì thế, các ước tính theo định luật tỷ lệ tính khoảng 6 phép toán dấu phẩy động trên mỗi tham số cho mỗi token huấn luyện: 2 ở lượt truyền xuôi và 4 ở lượt truyền ngược.