Vanishing Gradient

Vấn đề tiêu biến gradient xảy ra khi các gradient mà lan truyền ngược truyền từ hàm mất mát về phía các lớp đầu tiên của mạng nơ-ron giảm theo cấp số nhân khi độ sâu tăng, khiến những lớp sớm nhất nhận được các cập nhật quá nhỏ để học được bất cứ điều gì. Vì gradient tại một lớp là tích của các đạo hàm cục bộ từ mọi lớp phía trên, một mạng mà mỗi lớp đều nhân gradient với một hệ số nhỏ hơn 1 có thể mất nhiều bậc độ lớn giữa đầu ra và đầu vào. Sepp Hochreiter đã phân tích hiện tượng này trong luận văn tốt nghiệp năm 1991, và hiện tượng này khiến các mạng nơ-ron truyền thẳng sâu cùng các mạng nơ-ron hồi quy (RNNs) khó huấn luyện cho đến khi các hàm kích hoạt, phương pháp khởi tạo và kiến trúc tốt hơn xuất hiện.

Vì sao gradient biến mất#

Backpropagation áp dụng quy tắc dây chuyền, vì vậy gradient đến một lớp là gradient từ lớp phía trên nhân với từng ma trận trọng số và đạo hàm của hàm kích hoạt ở các lớp sau. Đạo hàm của sigmoid không bao giờ vượt quá 0.25, là giá trị tại đầu vào 0, và tiến về 0 khi unit bão hòa ở đầu vào dương hoặc âm lớn. Đạo hàm của tanh đạt cực đại ở mức 1 và cũng tiến về 0 khi bão hòa. Vì vậy, 20 lớp sigmoid nhân gradient với hệ số tối đa 0.25²⁰, nhỏ hơn 10⁻¹², chưa kể đến trọng số. Quy mô trọng số cũng quan trọng ngang với hàm kích hoạt: Glorot và Bengio quy phần lớn khó khăn cho việc khởi tạo và đề xuất phương sai trọng số được điều chỉnh theo số đầu vào và đầu ra của mỗi lớp, để phương sai của hàm kích hoạt và gradient gần như không đổi qua các lớp.

Có thể dễ dàng đo lường hiện tượng này bằng cách so sánh kích thước gradient trọng số ở đầu trên và đầu dưới của mạng sigmoid 20 lớp, có và không có đường tắt residual:

import torch

torch.manual_seed(0)
x = torch.randn(64, 32)

# The same 20-layer sigmoid network, without and with residual shortcuts
for residual in (False, True):
    layers = [torch.nn.Linear(32, 32) for _ in range(20)]
    h = x
    for layer in layers:
        out = torch.sigmoid(layer(h))
        h = h + out if residual else out
    h.sum().backward()

    # Compare the weight-gradient size at the last layer and the first layer
    last, first = layers[-1].weight.grad.norm(), layers[0].weight.grad.norm()
    print(f"residual={residual}: layer 20 gradient {last:.1e}, layer 1 gradient {first:.1e}")

Không có đường tắt, chuẩn gradient của lớp cuối là 2.5e+02 còn của lớp đầu là 4.2e-15, nhỏ hơn khoảng 17 bậc độ lớn, nên trọng số của lớp đầu hầu như không bao giờ thay đổi. Có đường tắt residual, gradient của lớp đầu là 5.6e+01, nhỏ hơn khoảng 38 lần so với gradient 2.1e+03 của lớp cuối.

Gradient biến mất và gradient bùng nổ#

Cả hai vấn đề đều xuất phát từ phép nhân lặp lại giống nhau. Gradient biến mất âm thầm cản trở quá trình học: loss vẫn giảm nhờ các lớp cuối, trong khi các lớp đầu vẫn gần với trạng thái khởi tạo ngẫu nhiên. Gradient bùng nổ tăng theo cấp số nhân và biểu hiện rõ rệt qua các đột biến loss cùng các giá trị NaN. Gradient clipping giới hạn chuẩn của gradient bùng nổ trước mỗi lần cập nhật và không ảnh hưởng đến gradient đã biến mất. Vấn đề ReLU chết có liên quan: đầu vào của một unit ReLU luôn âm, khiến gradient bằng chính xác 0 và unit đó ngừng học.

Cách ngăn gradient biến mất#

Giải pháp được dùng rộng rãi nhất là kết nối residual, shortcut đồng nhất cốt lõi của mạng residual (ResNet). Khối residual xuất ra x + F(x), do đó gradient theo x bằng 1 cộng đạo hàm của F; đường shortcut truyền nguyên vẹn gradient từ tầng trước.

Đường tắt residual cho phép ResNet huấn luyện với hơn 100 lớp và xuất hiện trong gần như mọi kiến trúc sâu hiện đại, từ transformer đến YOLO26. Các khối C3k2 của YOLO26 bao bọc các bottleneck residual, còn các khối convolution tiêu chuẩn kết hợp batch normalization với hàm kích hoạt SiLU.

Các phương pháp khắc phục khác có thể kết hợp với kết nối residual:

• Hàm kích hoạt không bão hòa: ReLU có đạo hàm chính xác bằng 1 với đầu vào dương, còn Leaky ReLU và SiLU cũng duy trì gradient khác 0 với đầu vào âm.
• Khởi tạo có điều chỉnh tỷ lệ: Khởi tạo Xavier (Glorot) phù hợp với lớp tanh và sigmoid, còn khởi tạo He tăng gấp đôi phương sai trọng số để bù cho việc ReLU đưa một nửa đầu vào về 0.
• Các lớp chuẩn hóa: Batch normalization và layer normalization giữ các giá trị trước kích hoạt gần với trung bình 0 và phương sai 1, tránh xa các vùng phẳng của hàm kích hoạt bão hòa.
• Kiến trúc hồi tiếp có cổng: Mạng bộ nhớ dài-ngắn hạn (LSTM) và đơn vị hồi tiếp có cổng (GRU) truyền trạng thái qua các cập nhật cộng có cổng thay vì phép nhân lặp lại; LSTM ban đầu nhờ đó có thể xử lý khoảng cách thời gian dài hơn 1.000 bước.