Leaky ReLU

Leaky ReLU 是深度学习模型中使用的标准修正线性单元激活函数的专门变体。标准 ReLU 会将所有负输入值精确设为零，而 Leaky ReLU 会为负输入引入一个很小的非零斜率。这一细微改动使少量信息能够继续通过网络，即使神经元未处于激活状态，从而解决了一个称为“ReLU 死亡”问题的关键问题。通过保持连续梯度，该函数有助于神经网络在训练阶段更加稳健地学习，尤其适用于图像识别和自然语言处理等复杂任务所使用的深层架构。

解决 ReLU 死亡问题#

要理解 Leaky ReLU 的必要性，最好先了解标准ReLU 激活函数的局限性。在标准设置中，如果神经元接收到负输入，就会输出零。因此，该函数的梯度会在反向传播期间变为零。如果神经元在所有输入下都有效地陷入这种状态，它就会完全停止更新权重，变成“死亡”神经元。

Leaky ReLU 通过为负值保留一个很小的正梯度来解决这一问题，通常是 0.01 这样的固定斜率。这样可以确保优化算法始终能够继续调整权重，防止神经元永久失活。当训练深层网络时，这一特性尤其有价值，因为保留信号幅度对于避免梯度消失现象至关重要。

实际应用#

Leaky ReLU 广泛应用于训练稳定性和梯度流动至关重要的场景。

• 生成对抗网络 (GANs)： Leaky ReLU 最突出的一项应用是在生成对抗网络 (GANs)中。在 GAN 的判别器网络中，标准 ReLU 产生的稀疏梯度可能会阻碍模型有效学习。使用 Leaky ReLU 可确保梯度流经整个架构，帮助生成器创建质量更高的合成图像；DCGAN 论文等重要研究详细介绍了这一技术。
• **轻量级目标检测：**虽然YOLO26等最先进的模型通常依赖 SiLU 这类更平滑的函数，但 Leaky ReLU 仍然是部署在边缘 AI硬件上的定制轻量级架构的热门选择。其数学形式简单（分段线性），所需计算能力低于基于指数的函数，因此非常适合在较旧的手机或嵌入式微控制器等处理能力有限的设备上进行实时目标检测。

与相关概念的比较#

选择正确的激活函数是超参数调优中的关键步骤。区分 Leaky ReLU 与其对应函数非常重要：

• **Leaky ReLU 与标准 ReLU的对比：**标准 ReLU 会将负输出强制设为零，从而创建一个“稀疏”网络；这种网络虽然高效，但存在信息丢失的风险。Leaky ReLU 则牺牲了这种纯粹的稀疏性，以确保梯度可用。
• Leaky ReLU 与SiLU（Sigmoid 线性单元）的对比：Ultralytics YOLO26等现代架构使用 SiLU。与 Leaky ReLU 的尖锐转折不同，SiLU 是一条平滑的连续曲线。这种平滑性通常能让深层获得更好的泛化能力和准确率，不过 Leaky ReLU 的执行计算速度更快。
• **Leaky ReLU 与参数化 ReLU (PReLU)的对比：**在 Leaky ReLU 中，负斜率是一个固定的超参数（例如 0.01）。在参数化 ReLU (PReLU)中，该斜率变成可学习参数，网络会在训练期间对其进行调整，使模型能够根据特定数据集自适应地调整激活函数形状。

在 Python 中实现 Leaky ReLU#

以下示例演示了如何使用 PyTorch库实现 Leaky ReLU 层。此代码片段初始化该函数，并将一个同时包含正值和负值的张量传入其中。

import torch
import torch.nn as nn

# Initialize Leaky ReLU with a negative slope of 0.1
# This means negative input x becomes 0.1 * x
leaky_relu = nn.LeakyReLU(negative_slope=0.1)

# Input data with positive and negative values
data = torch.tensor([10.0, -5.0, 0.0])

# Apply activation
output = leaky_relu(data)

print(f"Input: {data}")
print(f"Output: {output}")
# Output: tensor([10.0000, -0.5000,  0.0000])

在设计自定义架构或使用 Ultralytics Platform为计算机视觉模型进行标注、训练和部署时，理解这些细微差异至关重要。选择合适的激活函数可以确保模型更快收敛，并在特定任务上实现更高的准确率。