激活函数

激活函数是神经网络（NN）中的一个关键数学组件，它决定了一个 激活函数是神经网络 (NN)中的一个重要数学组件，它决定了一个 特定神经元应该激活还是不激活。激活函数通常被描述为神经元的 "守门员"，它接收输入的加权总和，并将其转化为输出信号，然后将输出信号传递给下一级神经元。 输入的加权和，并将其转换为输出信号传递给下一层。这种转换 是将非线性引入 深度学习（DL）模型中引入非线性至关重要。如果没有激活 函数，神经网络的行为实际上就像一个简单的 线性回归模型，无论它有多少 层。这种限制会阻碍模型学习复杂的模式，例如手写数字的曲线或人脸的特征。 手写数字的曲线或人脸的特征。

核心功能和类型

激活函数的主要目的是将输入值映射到所需范围并引入复杂性。 根据模型架构和当前任务的具体要求选择不同的函数、 如计算机视觉 (CV)或语言 处理。

• 二进制阶跃：基于阈值的函数，如果输入超过某个值，则输出 1，否则输出 0。 否则输出 0。这模仿了生物神经元的发射，维基百科上的 维基百科上的人工神经元历史中探讨过这一概念。
• ReLU（整流线性单元）： 最常见的隐藏层选择。如果输入是正数，它就直接输出，否则就输出 零。这种效率可加快模型训练，并有助于 缓解梯度消失问题。
• 西格码压扁 0 和 1，因此非常适合预测二元分类模型输出层的概率。
• SiLU（西格玛线性单元）： 一种平滑的非单调函数，用于最先进的架构，如 YOLO11.与传统的 ReLU 网络中的梯度流。
• Softmax：将原始数据向量 转换成概率分布，常用于多类 图像分类。

人工智能在现实世界中的应用

激活函数是现代人工智能系统决策能力背后的引擎。它们的选择 直接影响实时推理的准确性和速度。 实时推理的准确性和速度。

1. 自动驾驶汽车：在自动驾驶汽车系统中、 物体检测模型处理视频馈送，以 识别行人和交通标志。这些网络的隐藏层依赖于 ReLU 或 SiLU 等高效函数。 处理高分辨率图像数据。输出层可使用 Softmax 对物体进行分类、 帮助自动驾驶汽车决定 刹车还是加速。
2. 医疗诊断：在 在医学图像分析中，人工智能模型分析 X 射线或核磁共振扫描以detect 异常。为检测肿瘤而训练的模型可能会在其 最后一层输出一个概率分数（如 0.95），表示诊断为阳性的可能性很高。这种 这种精确度有助于医生做出明智的决定。 人工智能在医疗保健中的应用

实施实例

开发人员可以使用诸如 PyTorch.下面的示例演示了不同 函数如何转换相同的输入数据。

import torch
import torch.nn as nn

# Sample data: a tensor with negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Define activation functions
relu = nn.ReLU()
sigmoid = nn.Sigmoid()

# Apply functions to the data
# ReLU turns negatives to 0; keeps positives unchanged
print(f"ReLU Output:    {relu(data)}")
# Expected: tensor([0., 0., 2.])

# Sigmoid squashes values between 0 and 1
print(f"Sigmoid Output: {sigmoid(data)}")
# Expected: tensor([0.1192, 0.5000, 0.8808])

有关实现的全面细节，请参阅 PyTorch 关于非线性激活的文档。

区分相关术语

将激活函数与学习过程中的其他基本组成部分区分开来是很有帮助的：

• 激活函数与损失函数： 激活函数在前向传递过程中起作用，决定神经元的输出。相比之下，损失函数 (如平均平方误差）则在前向传递结束时运行，计算模型预测与实际目标之间的误差。 预测与实际目标之间的误差。
• 激活函数与优化算法 优化算法： 激活函数定义输出形状，而优化算法（如 随机梯度下降算法） 则决定了如何根据输出的梯度更新模型的权重。您可以 了解有关这种关系的更多信息。 Google 机器学习词汇表》中了解更多相关信息。
• 激活函数与参数： 参数weights and biases）是在训练过程中学习和更新的。激活函数通常是固定的 数学运算，但某些高级类型（如 PReLU）允许学习参数。 可学习参数。