Leaky ReLU

Leaky ReLU (đơn vị tuyến tính chỉnh lưu có rò rỉ) là một hàm kích hoạt, trả về nguyên input khi input dương và nhân input với độ dốc nhỏ, cố định, chẳng hạn 0.01, khi input âm. Hàm này điều chỉnh ReLU tiêu chuẩn, vốn cho đầu ra bằng 0 với mọi input âm, để các giá trị âm vẫn tạo ra đầu ra nhỏ và quan trọng hơn là gradient khác 0 trong quá trình lan truyền ngược. Andrew Maas, Awni Hannun và Andrew Ng mô tả hàm này trong nghiên cứu năm 2013 về activation chỉnh lưu trong model âm học nhận dạng tiếng nói, sử dụng độ dốc 0.01. Hàm này được dùng trong các model deep learning cần duy trì luồng gradient, từ discriminator của mạng đối sinh tạo sinh đến các bộ phát hiện đối tượng YOLO đời cũ và bộ xử lý thần kinh chạy model đã lượng tử hóa với hàm kích hoạt tuyến tính từng đoạn.

Cách Leaky ReLU hoạt động#

Leaky ReLU tính f(x) = x cho x > 0 và f(x) = αx cho x ≤ 0, trong đó độ dốc âm α là siêu tham số cố định nằm trong khoảng từ 0 đến 1. Đạo hàm của hàm bằng 1 với input dương và bằng α với input âm, nhờ đó mỗi input đều truyền một phần gradient trở lại các weight đã tạo ra nó. Độ dốc thường dùng tùy theo nguồn và framework: nn.LeakyReLU của PyTorch mặc định là 0.01, tf.nn.leaky_relu của TensorFlow là 0.2, còn layer LeakyReLU của Keras là 0.3. Đoạn mã này đưa các input âm qua ReLU và Leaky ReLU rồi tính gradient của từng hàm:

import torch
from torch import nn

# Negative pre-activations, the inputs a ReLU unit turns into zeros
x = torch.tensor([-3.0, -1.0, -0.5], requires_grad=True)

for activation in (nn.ReLU(), nn.LeakyReLU(negative_slope=0.01)):
    y = activation(x)
    y.sum().backward()  # gradient that flows back toward the weights
    print(f"{activation}: output {y.detach().numpy()}, gradient {x.grad.numpy()}")
    x.grad = None

Chương trình in ra ReLU(): output [0. 0. 0.], gradient [0. 0. 0.] và LeakyReLU(negative_slope=0.01): output [-0.03 -0.01 -0.005], gradient [0.01 0.01 0.01]. ReLU không truyền gradient ngược từ các input này, vì vậy gradient descent không thể thay đổi các weight đã tạo ra chúng, còn Leaky ReLU truyền ngược 1% gradient từ bước trước.

Vấn đề ReLU chết#

Neuron ReLU chết khi weight và bias của nó dịch chuyển đến mức tiền kích hoạt âm với mọi input trong dữ liệu huấn luyện. Khi đó, đầu ra luôn bằng 0, gradient luôn bằng 0 và các weight đầu vào không bao giờ được cập nhật nữa, khiến neuron bị mất vĩnh viễn khỏi mạng neural. Learning rate cao hoặc cập nhật bias âm lớn làm tình trạng này dễ xảy ra hơn. Leaky ReLU duy trì gradient nhỏ ở phía âm, vì vậy neuron trôi vào vùng âm vẫn có thể được kéo trở lại:

Vấn đề ReLU chết khác với vấn đề gradient biến mất, trong đó gradient giảm dần khi đi qua nhiều layer chứa các hàm bão hòa như sigmoid hoặc tanh.

Leaky ReLU và các hàm kích hoạt liên quan#

• ReLU: Cho đầu ra chính xác bằng 0 với input âm, giúp activation thưa và tính toán rẻ hơn nhưng khiến neuron có thể chết. Leaky ReLU đánh đổi tính thưa tuyệt đối để duy trì gradient ở mọi nơi.
• ReLU tham số hóa (PReLU): Học độ dốc âm trong quá trình huấn luyện, thường là một giá trị cho mỗi channel, thay vì cố định độ dốc này. Kaiming He và cộng sự khởi tạo độ dốc ở mức 0.25; đây cũng là giá trị mặc định của nn.PReLU trong PyTorch.
• SiLU và GELU: Các đường cong trơn, hơi xuống dưới 0 khi input âm và không có góc nhọn tại 0. SiLU là hàm mặc định trong các model YOLO hiện đại, còn GELU phổ biến trong Transformer. Cả hai cần một phép tính hàm mũ cho mỗi giá trị, trong khi Leaky ReLU chỉ cần phép so sánh và phép nhân.

Leaky ReLU được sử dụng ở đâu#

• Discriminator DCGAN: Kiến trúc DCGAN dùng Leaky ReLU với độ dốc 0.2 trong mọi layer discriminator, nhờ đó generator nhận được gradient hữu ích ngay cả với những ảnh bị discriminator từ chối; nhiều GAN ra đời sau vẫn giữ lựa chọn này.
• Bộ phát hiện YOLO đời đầu: YOLO gốc dùng Leaky ReLU với độ dốc 0.1 trong mọi layer trừ layer cuối; YOLOv2 và YOLOv3 cũng vậy. YOLOv5 tiếp tục dùng hàm này cho đến bản phát hành v4.0 vào tháng 1 năm 2021, khi SiLU thay thế nó.
• Mạng chú ý đồ thị: Các mạng neural đồ thị này áp dụng Leaky ReLU với độ dốc 0.2 khi tính điểm mức độ chú ý của mỗi node dành cho các node lân cận.
• Bộ tăng tốc Edge AI: Bộ xử lý thần kinh số nguyên chạy model đã lượng tử hóa có thể gộp hàm kích hoạt tuyến tính từng đoạn vào phép tích chập đứng trước. DPU Xilinx của AMD thực hiện việc này với ReLU và Leaky ReLU, nhưng chạy sigmoid, và do đó cả SiLU, trên CPU của host.

Các file YAML model Ultralytics YOLO chấp nhận key activation, thay thế SiLU mặc định trong mọi block tích chập tiêu chuẩn; nhờ đó, YOLO26 có thể được huấn luyện bằng activation: nn.LeakyReLU(0.1015625) để khớp với độ dốc cố định của DPU là 26/256.