返回 Ultralytics 术语表
SiLU (Sigmoid Linear Unit)
探索 SiLU（Sigmoid 线性单元）激活函数如何增强深度学习。了解为什么 SiLU 是 Ultralytics YOLO26 提升准确性的标准配置。
Sigmoid 线性单元通常称为 SiLU，是现代深度学习架构中广泛使用的一种高效激活函数，用于在神经网络中引入非线性。SiLU 通过决定神经元如何处理信息并将信息传递过模型的各层，使系统能够学习数据中的复杂模式；它的作用类似于传统阶跃函数的更平滑、更精妙的替代方案。SiLU 通常与“Swish”这一术语相关联，该术语源于早期的自动激活函数搜索研究。如今，SiLU 已成为高性能计算机视觉模型中的标准组件，包括最先进的YOLO26 架构。
SiLU 的工作原理#
SiLU 函数的核心机制是将输入值与其自身的Sigmoid 变换相乘。与简单的阈值函数突然将神经元切换为“开启”或“关闭”状态不同，SiLU 提供了一条平滑曲线，能够实现更细致的信号处理。这种数学结构形成了独特的特性，有利于模型训练过程：
- 平滑性： 该曲线处处连续且可微。这一特性通过为调整模型权重提供一致的优化空间，有助于优化算法（例如梯度下降）进行优化，通常能够在训练期间实现更快的收敛。
- 非单调性： 与标准线性单元不同，SiLU 是非单调的，这意味着在某些负值范围内，即使输入增加，其输出也可能降低。这使网络能够捕获复杂特征，并保留原本可能被丢弃的负值，从而帮助深度网络缓解梯度消失问题。
- 自门控： SiLU 充当自身的门控机制，根据输入自身的幅度调节输入通过的比例。这种机制类似于长短期记忆（LSTM）网络中的门控机制，但其计算效率更高，适用于卷积神经网络（CNN）。
实际应用#
SiLU 是许多以精度和效率为首要目标的前沿 AI 解决方案不可或缺的组成部分。
- 自动驾驶车辆感知： 在自动驾驶车辆这一安全关键领域，感知系统必须即时识别行人、交通标志和障碍物。其骨干网络采用 SiLU 的模型能够保持较高的推理速度，同时在不同光照条件下准确执行目标检测，确保车辆能够对周围环境做出安全响应。
- 医学影像诊断： 在医学图像分析中，神经网络需要辨别 MRI 或 CT 扫描中的细微纹理差异。SiLU 保持梯度的特性有助于这些网络学习早期肿瘤检测所需的细粒度细节，从而显著提高放射科医生使用的自动诊断工具的可靠性。
与相关概念的比较#
要全面理解 SiLU，最好将其与Ultralytics 术语表中的其他激活函数区分开来。
- SiLU 与 ReLU（整流线性单元）对比： ReLU 以速度快、结构简单而著称，会将所有负输入输出为零。虽然这种方式效率很高，但可能导致“死亡神经元”并停止学习。SiLU 允许小幅的非线性梯度流经负值，从而避免了这一问题；对于在Ultralytics Platform上训练的深度架构，这通常能带来更高的准确率。
- SiLU 与 GELU（高斯误差线性单元）对比： 这两个函数在视觉表现和功能上都很相似。GELU 是 BERT 和 GPT 等Transformer 模型的标准选择，而 SiLU 则常用于计算机视觉（CV）任务和基于 CNN 的目标检测器。
- SiLU 与 Sigmoid 对比： 尽管 SiLU 内部使用了 Sigmoid 函数，但二者承担的角色不同。Sigmoid 通常用于二分类的最终输出层，以表示概率；而 SiLU 则用于隐藏层，以促进特征提取。
实现示例#
你可以使用PyTorch 库直观查看不同激活函数如何变换数据。下面的代码片段演示了 ReLU（将负值归零）与 SiLU（允许负值平滑流动）之间的差异。
import torch
import torch.nn as nn
# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])
# Apply ReLU: Negatives become 0, positives stay unchanged
relu_out = nn.ReLU()(data)
print(f"ReLU: {relu_out}")
# Output: tensor([0., 0., 2.])
# Apply SiLU: Smooth curve, small negative value retained
silu_out = nn.SiLU()(data)
print(f"SiLU: {silu_out}")
# Output: tensor([-0.2384, 0.0000, 1.7616])通过保留负值中的信息并提供平滑梯度，SiLU 在现代神经网络的成功中发挥着关键作用。它被YOLO26等架构采用，凸显了其对于在各种计算机视觉任务中实现最先进性能的重要性。
