Tanh (Hyperbolic Tangent)

Tanh（双曲正切）函数是一种数学激活函数，广泛用于人工神经网络的隐藏层。它将输入值转换为 -1 到 1 之间的输出范围，形成一条类似于 sigmoid 函数但以零为中心的 S 形曲线。这种零中心特性至关重要，因为它可以通过归一化神经元的输出，使流经网络的数据均值更接近零，从而帮助模型更高效地学习。通过显式处理负值，Tanh 能帮助神经网络捕获数据中更复杂的模式和关系。

Tanh 在深度学习中的机制#

在深度学习模型的架构中，激活函数引入非线性，使网络能够学习不同数据类别之间的复杂边界。如果没有 Tanh 之类的函数，无论包含多少层，神经网络的行为都会类似于简单的线性回归模型。Tanh 函数在循环神经网络 (RNN)以及某些前馈网络中尤其有效，在这些网络中，保持平衡且以零为中心的激活分布有助于防止梯度消失问题在反向传播过程中出现。

当输入被映射到 -1 到 1 的范围时，强负输入会产生负输出，强正输入会产生正输出。这不同于 Sigmoid 函数，后者会将值压缩到 0 到 1 之间。由于 Tanh 的输出关于零对称，梯度下降过程通常会更快收敛，因为后续层中的权重不会始终朝单一方向移动（这种现象在优化中被称为“之字形”路径）。

实际应用#

Tanh 在特定架构和使用场景中仍然发挥着重要作用，尤其是在需要进行序列处理和连续值估计的场景中。

• 自然语言处理 (NLP)： 在长短期记忆（LSTM）网络和门控循环单元（GRU）等架构中，Tanh 被用作调节信息流的主要激活函数。例如，在机器翻译任务中，当模型将文本从英语翻译成法语时，Tanh 可以帮助 LSTM 的内部门决定保留或遗忘多少先前的上下文（记忆）。这使模型能够处理句子结构中的长期依赖关系。
• 生成对抗网络（GAN）： 在许多生成对抗网络的生成器组件中，Tanh 经常被用作输出层的最终激活函数。由于图像在预处理期间通常会被归一化到 -1 到 1 的范围，使用 Tanh 可以确保生成器产生处于相同有效范围内的像素值。这种技术有助于为文本生成图像等应用合成逼真的图像。

比较：Tanh 与 Sigmoid 及 ReLU#

区分 Tanh 与其他常见函数，有助于理解应在何时使用它。

• Tanh 与 Sigmoid 的比较： 两者都是 S 形曲线。不过，Sigmoid 输出的值介于 0 和 1 之间，这可能导致梯度比 Tanh 更快消失。Sigmoid 通常用于二元分类问题的最终输出层（概率预测），而 Tanh 则更适合 RNN 的隐藏层。
• Tanh 与 ReLU（修正线性单元） 的比较： 在 YOLO26 等现代卷积神经网络（CNN）中，ReLU 及其变体（例如 SiLU）通常比 Tanh 更适合隐藏层。这是因为对于非常深的网络，ReLU 能更有效地避免梯度消失问题，而且计算成本更低。由于涉及指数运算，Tanh 的计算成本更高。

在 PyTorch 中实现激活函数#

虽然 Ultralytics YOLO26 等高级模型会在其配置文件中内部处理激活函数定义，但了解如何使用 PyTorch 应用 Tanh，对构建自定义模型很有帮助。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

对于希望训练自定义架构或高效管理数据集的用户，Ultralytics Platform 提供了一个简化的环境，让你可以试验不同的模型超参数、可视化训练指标，并部署解决方案，而无需手动编写神经网络的每一层。