Activation Function

探索 ReLU、Sigmoid 和 SiLU 等激活函数如何实现深度学习。了解 Ultralytics YOLO26 如何利用它们掌握复杂的视觉模式。

激活函数是神经网络 (NN)的一个基础组件，它根据一组输入来决定神经元的输出。它通常被描述为“看门人”，负责决定神经元是否应该激活——即它是否有助于网络的预测——还是保持不活动。如果没有这些数学运算，神经网络就会表现得像一个简单的线性回归模型，无论其深度如何，都无法理解复杂的模式。通过引入非线性，激活函数使深度学习 (DL)模型能够学习复杂的结构，例如手写数字的曲线或医学图像分析中的细微异常。

核心功能与常见类型#

激活函数的主要作用是将输入信号映射到所需的输出范围，并在网络生成的特征图中引入复杂性。开发人员会根据层的深度位置和模型训练过程的目标来选择特定的函数。

**ReLU (Rectified Linear Unit)：**目前隐藏层中最广泛使用的函数。如果输入为正，则直接输出该输入，否则输出为零。这种简单性加速了计算，并有助于缓解梯度消失问题，这是训练深层架构时经常遇到的挑战。
**Sigmoid：**该函数将输入值“挤压”到 0 和 1 之间的范围内。它经常用于二分类任务的最后一层，例如确定电子邮件是否为垃圾邮件，因为输出可以被解释为概率得分。
**Softmax：**对于多类问题至关重要，Softmax 将数字向量转换为概率分布，其中所有值的总和为一。这在图像分类挑战中是标准的，例如ImageNet 数据集中发现的挑战。
**SiLU (Sigmoid Linear Unit)：**一个平滑的非单调函数，常用于像 YOLO26 这样的先进架构中。在非常深的模型中，SiLU 比 ReLU 能够实现更好的梯度流，从而有助于提高准确率。

人工智能的实际应用#

激活函数的选择直接影响日常运营中部署的 AI 系统的性能和推理延迟。

**零售物体检测：**在自动结账系统中，物体检测模型识别传送带上的产品。隐藏层使用诸如 ReLU 或 SiLU 等高效函数来快速处理视觉特征。输出层确定类别（例如“苹果”、“谷物”）和边界框坐标，使系统能够自动结算账单。这对于零售 AI 确保速度和客户满意度至关重要。
**情感分析：**在自然语言处理 (NLP)中，模型分析客户评论以衡量满意度。网络可能会处理文本数据并在最后一层使用 Sigmoid 函数来输出 0（消极）到 1（积极）之间的情感得分，从而帮助企业使用机器学习 (ML)大规模了解客户反馈。

实现示例#

你可以使用 PyTorch 库可视化不同的激活函数如何转换数据。以下代码片段演示了 ReLU（将负数归零）和 Sigmoid（挤压值）之间的区别。

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])

区分相关概念#

区分激活函数与学习流程中的其他数学组件非常重要。

**激活函数与损失函数：**激活函数在前向传播过程中起作用，用于塑造神经元的输出。损失函数（例如均方误差）在前向传播结束时计算预测值与实际目标之间的误差。
**激活函数与优化算法：**虽然激活函数定义了输出结构，但优化器（如 Adam 或随机梯度下降）决定了如何更新模型权重以最小化损失函数计算出的误差。
**激活函数与迁移学习：**激活函数是网络层中的固定数学运算。迁移学习是一种将预训练模型适配用于新任务的技术，它通常保留原始架构的激活函数，同时通过Ultralytics 平台在自定义数据集上微调权重。