Leaky ReLU

Leaky ReLU 是深度学习模型中使用的标准修正线性单元（Rectified Linear Unit）激活函数的一种特殊变体。标准 ReLU 将所有负输入值设置为零，而 Leaky ReLU 为负输入引入了一个小的非零斜率。这种细微的修改允许少量信息即使在神经元不活跃时也能流过网络，解决了被称为“ReLU 死亡”的关键问题。通过保持连续的梯度，此函数有助于 神经网络 在训练阶段更稳健地学习，尤其是在用于图像识别和自然语言处理等复杂任务的深度架构中。

解决死亡ReLU问题

为了理解 Leaky ReLU 的必要性，首先了解标准 ReLU 激活函数 的局限性会很有帮助。在标准设置中，如果神经元接收到负输入，它会输出零。因此，在 反向传播 期间，函数的梯度变为零。如果一个神经元对所有输入都有效地陷入这种状态，它就会完全停止更新其权重，从而变得“死亡”。

Leaky ReLU 通过允许负值存在一个小的正梯度（通常是 0.01 这样的常数斜率）来解决这个问题。这确保了 优化算法 始终可以继续调整权重，防止神经元永久性失活。这一特性在训练深度网络时尤为重要，因为在深度网络中，保持信号幅度对于避免 梯度消失 现象至关重要。

实际应用

Leaky ReLU 被广泛应用于训练稳定性与梯度流动至关重要的场景。

• 生成对抗网络 (GANs)：Leaky ReLU 最突出的用途之一是在 生成对抗网络 (GANs) 中。在 GAN 的判别器网络中，标准 ReLU 产生的稀疏梯度会阻碍模型有效学习。使用 Leaky ReLU 确保梯度流经整个架构，帮助生成器创建更高质量的合成图像，这一技术在 DCGAN 论文 等关键研究中有所详细阐述。
• 轻量级目标检测：尽管YOLO26等最先进模型通常依赖SiLU等更平滑的函数，Leaky ReLU仍然是部署在边缘AI硬件上的定制轻量级架构的流行选择。其数学上的简单性（分段线性）意味着它比基于指数的函数需要更少的计算能力，使其成为在处理能力有限的设备（如老式手机或嵌入式微控制器）上进行实时object detection的理想选择。

与相关概念的比较

选择正确的激活函数是 超参数调优 中的关键一步。将 Leaky ReLU 与其对应函数区分开来很重要：

• Leaky ReLU 与标准ReLU： 标准ReLU将负输出强制为零，创建了一个“稀疏”网络，这可能很高效但有信息丢失的风险。Leaky ReLU牺牲了这种纯粹的稀疏性以确保梯度可用性。
• Leaky ReLU 与SiLU（Sigmoid 线性单元）： 现代架构，例如Ultralytics YOLO26，采用SiLU。与Leaky ReLU的尖锐角度不同，SiLU是一种平滑、连续的曲线。这种平滑性通常在深层中带来更好的泛化能力和准确性，尽管Leaky ReLU在计算上执行速度更快。
• Leaky ReLU 与 参数化ReLU (PReLU)：在Leaky ReLU中，负斜率是一个固定的超参数（例如0.01）。在参数化ReLU (PReLU)中，这个斜率变成了一个可学习的参数，网络在训练期间进行调整，允许模型根据特定数据集调整激活函数的形状。

在 python 中实施 Leaky ReLU

以下示例演示了如何使用PyTorch库实现Leaky ReLU层。此代码片段初始化该函数，并通过它传递一个包含正负值的tensor。

import torch
import torch.nn as nn

# Initialize Leaky ReLU with a negative slope of 0.1
# This means negative input x becomes 0.1 * x
leaky_relu = nn.LeakyReLU(negative_slope=0.1)

# Input data with positive and negative values
data = torch.tensor([10.0, -5.0, 0.0])

# Apply activation
output = leaky_relu(data)

print(f"Input: {data}")
print(f"Output: {output}")
# Output: tensor([10.0000, -0.5000,  0.0000])

了解这些细微差别在设计自定义架构或利用 Ultralytics Platform 来标注、训练和部署您的计算机视觉模型时至关重要。选择合适的激活函数可确保您的模型更快收敛并在特定任务上获得更高准确性。