Leaky ReLU

Leaky ReLU là một biến thể chuyên biệt của hàm kích hoạt Rectified Linear Unit tiêu chuẩn được sử dụng trong các mô hình học sâu. Trong khi ReLU tiêu chuẩn đặt tất cả các giá trị đầu vào âm về đúng bằng 0, Leaky ReLU đưa vào một độ dốc nhỏ khác 0 cho các giá trị đầu vào âm. Sự sửa đổi tinh tế này cho phép một lượng nhỏ thông tin truyền qua mạng ngay cả khi nơ-ron không hoạt động, giải quyết một vấn đề nghiêm trọng được gọi là vấn đề "dying ReLU". Bằng cách duy trì gradient liên tục, hàm này giúp neural networks học mạnh mẽ hơn trong giai đoạn huấn luyện, đặc biệt là trong các kiến trúc sâu được sử dụng cho các tác vụ phức tạp như nhận dạng hình ảnh và xử lý ngôn ngữ tự nhiên.

Link to this sectionGiải quyết vấn đề Dying ReLU#

Để hiểu sự cần thiết của Leaky ReLU, trước tiên chúng ta nên xem xét những hạn chế của ReLU activation function tiêu chuẩn. Trong một thiết lập tiêu chuẩn, nếu một nơ-ron nhận đầu vào âm, nó sẽ xuất ra 0. Hệ quả là gradient của hàm trở thành 0 trong quá trình backpropagation. Nếu một nơ-ron thực sự bị kẹt ở trạng thái này cho tất cả các đầu vào, nó sẽ ngừng cập nhật trọng số hoàn toàn và trở nên "chết".

Leaky ReLU giải quyết vấn đề này bằng cách cho phép một gradient dương nhỏ đối với các giá trị âm—thường là một độ dốc hằng số như 0,01. Điều này đảm bảo rằng optimization algorithm luôn có thể tiếp tục điều chỉnh trọng số, ngăn các nơ-ron trở nên không hoạt động vĩnh viễn. Đặc điểm này đặc biệt có giá trị khi huấn luyện các mạng sâu, nơi việc bảo toàn độ lớn tín hiệu là rất quan trọng để tránh hiện tượng vanishing gradient.

Link to this sectionCác ứng dụng trong thực tế#

Leaky ReLU được sử dụng rộng rãi trong các kịch bản mà độ ổn định khi huấn luyện và luồng gradient là tối quan trọng.

• Generative Adversarial Networks (GANs): Một trong những ứng dụng nổi bật nhất của Leaky ReLU là trong Generative Adversarial Networks (GANs). Trong mạng phân biệt của GAN, các gradient thưa thớt từ ReLU tiêu chuẩn có thể ngăn cản mô hình học tập hiệu quả. Việc sử dụng Leaky ReLU đảm bảo rằng các gradient chảy qua toàn bộ kiến trúc, giúp bộ tạo (generator) tạo ra hình ảnh tổng hợp chất lượng cao hơn, một kỹ thuật được trình bày chi tiết trong các nghiên cứu then chốt như DCGAN paper.
• Nhận diện vật thể nhẹ (Lightweight Object Detection): Trong khi các mô hình hiện đại như YOLO26 thường dựa vào các hàm mượt hơn như SiLU, Leaky ReLU vẫn là một lựa chọn phổ biến cho các kiến trúc tùy chỉnh, nhẹ được triển khai trên phần cứng edge AI. Độ đơn giản về mặt toán học (tuyến tính từng đoạn) của nó có nghĩa là nó đòi hỏi ít năng lượng tính toán hơn các hàm dựa trên lũy thừa, làm cho nó trở nên lý tưởng cho việc object detection thời gian thực trên các thiết bị có khả năng xử lý hạn chế như điện thoại di động cũ hoặc vi điều khiển nhúng.

Link to this sectionSo sánh với các khái niệm liên quan#

Chọn đúng hàm kích hoạt là một bước quan trọng trong hyperparameter tuning. Việc phân biệt Leaky ReLU với các đối tác của nó là rất quan trọng:

• Leaky ReLU so với Standard ReLU: ReLU tiêu chuẩn ép các đầu ra âm về 0, tạo ra một mạng "thưa thớt", có thể hiệu quả nhưng gây rủi ro mất mát thông tin. Leaky ReLU hy sinh tính thưa thớt thuần túy này để đảm bảo khả năng cung cấp gradient.
• Leaky ReLU so với SiLU (Sigmoid Linear Unit): Các kiến trúc hiện đại, chẳng hạn như Ultralytics YOLO26, sử dụng SiLU. Không giống như góc nhọn của Leaky ReLU, SiLU là một đường cong trơn, liên tục. Độ mượt này thường dẫn đến khả năng tổng quát hóa và độ chính xác tốt hơn trong các lớp sâu, mặc dù Leaky ReLU thực thi nhanh hơn về mặt tính toán.
• Leaky ReLU so với Parametric ReLU (PReLU): Trong Leaky ReLU, độ dốc âm là một siêu tham số cố định (ví dụ: 0,01). Trong Parametric ReLU (PReLU), độ dốc này trở thành một tham số có thể học được mà mạng sẽ điều chỉnh trong quá trình huấn luyện, cho phép mô hình thích nghi hình dạng kích hoạt với tập dữ liệu cụ thể.

Link to this sectionTriển khai Leaky ReLU trong Python#

Ví dụ sau đây minh họa cách triển khai lớp Leaky ReLU bằng thư viện PyTorch. Đoạn mã này khởi tạo hàm và truyền một tensor chứa cả giá trị dương và âm qua nó.

import torch
import torch.nn as nn

# Initialize Leaky ReLU with a negative slope of 0.1
# This means negative input x becomes 0.1 * x
leaky_relu = nn.LeakyReLU(negative_slope=0.1)

# Input data with positive and negative values
data = torch.tensor([10.0, -5.0, 0.0])

# Apply activation
output = leaky_relu(data)

print(f"Input: {data}")
print(f"Output: {output}")
# Output: tensor([10.0000, -0.5000,  0.0000])

Hiểu được những sắc thái này là điều cần thiết khi thiết kế các kiến trúc tùy chỉnh hoặc sử dụng Ultralytics Platform để chú thích, huấn luyện và triển khai các mô hình thị giác máy tính của bạn. Việc chọn hàm kích hoạt phù hợp đảm bảo mô hình của bạn hội tụ nhanh hơn và đạt độ chính xác cao hơn trên các tác vụ cụ thể.