Tanh（双曲正切函数）

双曲正切函数（Tanh）是一种数学激活函数，广泛应用于人工神经网络的隐藏层。它将输入值转换为-1到1之间的输出范围，形成类似于S形曲线的曲线，其中心位于零点。这种零中心特性至关重要，因为它通过归一化神经元输出，使模型能够更高效地学习，确保流经模型的数据在零点附近保持稳定。 其曲线呈S形，与sigmoid函数相似但以零为中心。这种零中心特性至关重要，因为它通过归一化神经元输出使模型能更高效地学习，确保流经网络的数据均值更接近零。通过显式处理负值，Tanh函数帮助神经网络捕捉数据中更复杂的模式与关联关系。

深度学习中Tanh函数的作用机制

在深度学习模型的架构中，激活函数引入了非线性特性，使网络能够学习不同数据类别间的复杂边界。若没有Tanh等函数，无论神经网络拥有多少层，其行为都将等同于简单的线性回归模型。 Tanh函数在循环神经网络（RNN）及特定类型的前馈网络中尤为有效——通过维持平衡的零中心激活分布，可有效避免反向传播过程中的 梯度消失问题。

当输入映射到-1到1的范围时，强负输入会产生负输出，强正输入则产生正输出。这与Sigmoid函数不同，后者会将值压缩在0到1之间。 由于双曲正切函数输出在零点对称，梯度下降过程往往收敛更快——后续层的权重不会持续沿单一方向移动（该现象在优化中称为"之字形路径"）。

实际应用

Tanh函数在特定架构和应用场景中仍发挥着关键作用，尤其在需要序列处理和连续值估计的场合。

• 自然语言处理（NLP）：在长短期记忆（LSTM）网络和门控循环单元（GRU）等架构中，Tanh函数被用作调节信息流的主要激活函数。例如，在机器翻译任务中，当模型将文本从英语翻译成法语时，Tanh函数便发挥着关键作用。 门控循环单元（GRU）等架构中，Tanh函数作为主要激活函数用于调节信息流。例如在机器翻译任务中，当模型将文本从English 法语English ，Tanh函数能帮助LSTM的内部门控机制决定保留或遗忘多少前文上下文（记忆），从而使模型能够处理句子结构中的长期依赖关系。
• 生成对抗网络（GANs）：在许多生成对抗网络的生成器组件中，Tanh函数常被用作输出层的最终激活函数。由于图像在预处理阶段通常会被归一化到-1到1的区间，使用Tanh函数可确保生成器输出的像素值保持在相同有效范围内。该技术有助于为文本转图像等应用合成逼真的图像。

比较：Tanh函数 vs. sigmoid函数 vs. ReLU函数

区分Tanh与其他常用函数有助于理解何时使用它。

• 双曲正切函数与S形函数：两者均为S形曲线。然而，S形函数输出值介于0至1之间，这会导致梯度消失速度快于双曲正切函数。S形函数通常专用于二元分类问题（概率预测）的最终输出层，而双曲正切函数则更适用于循环神经网络中的隐藏层。
• Tanh 与 ReLU（整流线性单元）的对比： 在现代卷积神经网络（如YOLO26）中， 对于隐藏层，通常更倾向于使用ReLU及其变体（如SiLU） 而非Tanh。这是因为ReLU能更有效地避免深度网络中的梯度消失问题， 且计算成本更低。 Tanh函数因涉及指数运算，计算成本更高。

在PyTorch中实现激活函数

虽然高级模型如YOLO26在其配置文件内部处理激活函数定义，但理解如何使用PyTorch应用Tanh函数 PyTorch 对构建自定义模型仍具实用价值。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

对于有兴趣训练自定义架构或高效管理数据集的用户Ultralytics 提供了一个精简的环境，可用于： - 实验不同模型的超参数 - 可视化训练指标 - 部署解决方案 而无需手动编写神经网络的每一层代码。