Exploding Gradient

Gradient bùng nổ là lỗi huấn luyện trong đó các gradient được tính bằng lan truyền ngược tăng theo cấp số nhân khi truyền ngược qua một mạng nơ-ron sâu hoặc hồi quy. Khi đó, gradient descent áp dụng các cập nhật cực lớn lên trọng số model, hàm loss tăng vọt hoặc biến thành NaN hay inf, khiến quá trình huấn luyện phân kỳ. Đây là mặt đối lập của vấn đề gradient biến mất. Pascanu, Mikolov và Bengio đã phân tích cả hai vấn đề trong mạng nơ-ron hồi quy và đề xuất clipping chuẩn gradient để xử lý gradient bùng nổ; đây vẫn là biện pháp bảo vệ tiêu chuẩn trong quá trình huấn luyện deep learning ngày nay.

Vì sao gradient bùng nổ#

Theo quy tắc dây chuyền, gradient đến được layer đầu tiên là tích của một thừa số ứng với mỗi layer phía sau, hoặc mỗi bước thời gian trong mạng hồi quy. Khi các thừa số đó luôn lớn hơn 1, tích tăng theo cấp số nhân theo độ sâu: một thừa số 1.5 lặp lại qua 30 layer sẽ khuếch đại tín hiệu khoảng 190,000 lần. Các nguyên nhân thường gặp gồm khởi tạo trọng số kém, learning rate quá cao, đầu vào chưa chuẩn hóa, chuỗi dài trong model hồi quy và tràn số khi huấn luyện độ chính xác hỗn hợp, trong đó các giá trị FP16 lớn hơn 65,504 trở thành inf. Dấu hiệu bao gồm đường cong loss đột ngột tăng vọt hoặc chuyển thành NaN, log chuẩn gradient tăng nhiều bậc độ lớn giữa các bước và trọng số trở thành NaN.

Phòng ngừa và giảm thiểu#

Hầu hết pipeline huấn luyện hiện đại kết hợp nhiều biện pháp bảo vệ dưới đây.

• Clipping gradient: Khi chuẩn L2 toàn cục của tất cả gradient vượt quá ngưỡng, mọi gradient được giảm theo cùng một hệ số. Hướng cập nhật được giữ nguyên và chỉ độ lớn bị giới hạn.
• Batch Normalization: Batch normalization và layer normalization điều chỉnh lại tỷ lệ activation ở mỗi layer, giúp tín hiệu duy trì tỷ lệ ổn định giữa các layer và làm trơn bề mặt loss.
• Khởi tạo cẩn thận: Phương pháp khởi tạo Xavier (Glorot) và He điều chỉnh tỷ lệ trọng số ban đầu để phương sai activation gần như không đổi từ layer này sang layer khác.
• Kết nối residual: Skip connection tạo đường truyền đồng nhất cho gradient đi vòng qua mỗi block, vì vậy tín hiệu lan truyền ngược là tổng của nhiều đường đi thay vì một tích dài.
• Warmup learning rate: Bắt đầu với learning rate nhỏ rồi tăng dần trong những bước đầu giúp tránh các lần cập nhật ban đầu quá lớn, khi trọng số và thống kê optimizer vẫn chưa ổn định.

Đoạn mã dưới đây tạo một chuỗi gồm 30 layer, mỗi layer khuếch đại đầu vào 1.5 lần, sau đó clipping gradient thu được bằng PyTorch:

import torch
from torch import nn

torch.manual_seed(0)

# 30 stacked linear layers, each initialized to amplify its input by 1.5x
layers = [nn.Linear(64, 64, bias=False) for _ in range(30)]
for layer in layers:
    nn.init.orthogonal_(layer.weight, gain=1.5)
model = nn.Sequential(*layers)

loss = model(torch.randn(8, 64)).pow(2).mean()
loss.backward()

# clip_grad_norm_ rescales all gradients in place and returns their norm before clipping
norm_before = nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
norm_after = nn.utils.get_total_norm([p.grad for p in model.parameters()])
print(f"Gradient norm before clipping: {norm_before:.2e}, after: {norm_after:.2f}")

Chuẩn gradient thô là 9.90e+10; sau khi clipping, giá trị còn 1.00, vì vậy bước optimizer tiếp theo vẫn được giới hạn bất kể gradient thô lớn đến đâu.

Quá trình huấn luyện Ultralytics YOLO26 chạy biện pháp bảo vệ này ở mọi bước: trainer bỏ scale các gradient độ chính xác hỗn hợp, clipping chuẩn toàn cục của chúng về 10.0 và để bộ điều chỉnh gradient bỏ qua mọi lần cập nhật vẫn chứa các giá trị inf hoặc NaN. Trainer tùy chỉnh có thể thay đổi giới hạn, chẳng hạn giảm xuống 0.1 cho RT-DETR.

Gradient bùng nổ và gradient tiêu biến#

Cả hai vấn đề đều bắt nguồn từ cùng một tích các thừa số trên từng layer trong quá trình lan truyền ngược. Các thừa số lớn hơn 1 làm gradient bùng nổ, gây cập nhật không ổn định, tràn số và phân kỳ; biện pháp khắc phục thường dùng là clipping. Các thừa số nhỏ hơn 1 làm gradient co lại về 0 khiến những layer đầu ngừng học; biện pháp khắc phục thường dùng là activation không bão hòa như ReLU, kết nối residual và các unit hồi quy có cổng như LSTM. Chuẩn hóa và khởi tạo cẩn thận giúp xử lý cả hai vấn đề.

Ứng dụng thực tế#

Model ngôn ngữ lớn được huấn luyện qua hàng trăm nghìn bước trên các chuỗi văn bản dài, trong đó hiện tượng loss tăng vọt đột ngột là một rủi ro đã biết; các quy trình huấn luyện của chúng có clipping gradient: GPT-3 được huấn luyện bằng Adam với chuẩn gradient toàn cục được clipping ở mức 1.0.

Trong thị giác máy tính, các mạng phát hiện đối tượng sâu được huấn luyện trên tập dữ liệu quy mô COCO với learning rate cao và độ chính xác hỗn hợp, vì vậy clipping và scale loss giúp ngăn một batch cực đoan hiếm gặp làm hỏng trọng số. Các detector dựa trên Transformer nhạy hơn vì gradient đi qua cross-attention của decoder có thể tăng vọt; do đó, các model thuộc họ DETR như RT-DETR và DINO thường clipping với chuẩn tối đa là 0.1.