返回 Ultralytics 词汇表
SiLU (Sigmoid Linear Unit)
探索 SiLU（Sigmoid 线性单元）激活函数如何增强深度学习。了解为什么 SiLU 是 Ultralytics YOLO26 提高准确性的标准。
Sigmoid Linear Unit（通常称为 SiLU）是一种高效的激活函数，常用于现代深度学习架构中，旨在为神经网络引入非线性。通过确定神经元如何处理和传递通过模型层的信息，SiLU 使系统能够学习数据中的复杂模式，作为传统阶跃函数的一种更平滑、更高级的替代方案。SiLU 通常与早期自动激活搜索研究中的术语“Swish”相关联，现已成为高性能计算机视觉模型的标准，包括最先进的 YOLO26 架构。
Link to this sectionSiLU 的工作原理#
SiLU 函数的核心在于将输入值与其自身的Sigmoid 变换相乘。与简单地将神经元在“开启”和“关闭”之间突然切换的阈值函数不同，SiLU 提供了一条平滑曲线，实现了更细致的信号处理。这种数学结构产生了有益于模型训练过程的独特特性：
- Smoothness: The curve is continuous and differentiable everywhere. This property aids optimization algorithms like gradient descent by providing a consistent landscape for adjusting model weights, which often leads to faster convergence during training.
- 非单调性： 与标准的线性单元不同，SiLU 是非单调的，这意味着即使在某些负值范围内输入增加，其输出也可能减小。这使网络能够捕捉复杂的特征并保留否则可能会被丢弃的负值，从而帮助防止深度网络中的梯度消失问题。
- 自门控： SiLU 充当其自身的门，根据输入自身的大小来调节有多少输入可以通过。这模拟了长短期记忆 (LSTM) 网络中发现的门控机制，但以一种适合卷积神经网络 (CNN) 的高效计算形式呈现。
Link to this section实际应用#
SiLU 对于许多对精度和效率要求极高的前沿 AI 解决方案而言是不可或缺的。
- 自动驾驶感知： 在自动驾驶这一安全关键领域，感知系统必须能够即时识别行人、交通标志和障碍物。在其骨干网络中使用 SiLU 的模型可以在保持高推理速度的同时，在不同的光照条件下准确地执行目标检测，从而确保车辆能够安全地对环境做出反应。
- 医学影像诊断： 在医学图像分析中，神经网络需要识别 MRI 或 CT 扫描中细微的纹理差异。SiLU 的梯度保持特性有助于这些网络学习早期肿瘤检测所需的精细细节，显著提高了放射科医生所使用的自动诊断工具的可靠性。
Link to this section与相关概念的比较#
为了充分理解 SiLU，将它与Ultralytics 术语表中提到的其他激活函数区分开来会很有帮助。
- SiLU vs. ReLU (Rectified Linear Unit): ReLU is famous for its speed and simplicity, outputting zero for all negative inputs. While efficient, this can lead to "dead neurons" that stop learning. SiLU avoids this by allowing a small, non-linear gradient to flow through negative values, which often results in better accuracy for deep architectures trained on the Ultralytics Platform.
- SiLU vs. GELU (Gaussian Error Linear Unit)： 这两个函数在视觉和功能上都很相似。GELU 是 BERT 和 GPT 等Transformer 模型的标准，而 SiLU 则经常被优先用于计算机视觉 (CV) 任务和基于 CNN 的目标检测器。
- SiLU vs. Sigmoid： 虽然 SiLU 内部使用了 Sigmoid 函数，但它们的作用不同。Sigmoid 通常用于二元分类的最终输出层以表示概率，而 SiLU 则用于隐藏层以促进特征提取。
Link to this section实现示例#
你可以使用 PyTorch 库来可视化不同的激活函数如何转换数据。以下代码片段演示了 ReLU（将负值归零）和 SiLU（允许平滑的负值流动）之间的区别。
import torch
import torch.nn as nn
# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])
# Apply ReLU: Negatives become 0, positives stay unchanged
relu_out = nn.ReLU()(data)
print(f"ReLU: {relu_out}")
# Output: tensor([0., 0., 2.])
# Apply SiLU: Smooth curve, small negative value retained
silu_out = nn.SiLU()(data)
print(f"SiLU: {silu_out}")
# Output: tensor([-0.2384, 0.0000, 1.7616])通过保留负值中的信息并提供平滑的梯度，SiLU 在现代神经网络的成功中发挥着举足轻重的作用。它在 YOLO26 等架构中的采用，彰显了其在实现各种计算机视觉任务的最先进性能方面的重要性。
