Tanh (Hyperbolic Tangent)

Tanh（双曲正切）函数是一种广泛用于人工神经网络隐藏层的数学激活函数。它将输入值转换到 -1 到 1 之间的输出范围，形成一条类似于 sigmoid 函数但以零为中心的 S 形曲线。这种以零为中心的特性至关重要，因为它通过对神经元输出进行归一化，让模型能够更高效地学习，从而确保流经网络的数据平均值更接近零。通过显式处理负值，Tanh 帮助神经网络捕获数据中更复杂的模式和关系。

深度学习中 Tanh 的机制#

在深度学习模型的架构中，激活函数引入了非线性，使网络能够学习不同数据类别之间复杂的边界。如果没有像 Tanh 这样的函数，无论神经网络有多少层，它的表现都类似于一个简单的线性回归模型。Tanh 函数在循环神经网络 (RNN) 以及某些类型的前馈网络中特别有效，在这些网络中，维持一个平衡且以零为中心的激活分布有助于在反向传播期间防止梯度消失问题。

当输入被映射到 -1 到 1 的范围时，强负输入会产生负输出，而强正输入会产生正输出。这与将值压缩在 0 和 1 之间的Sigmoid函数不同。由于 Tanh 的输出以零为对称，梯度下降过程通常收敛得更快，因为后续层中的权重不会持续朝单一方向移动（这在优化中被称为“之”字形路径现象）。

实际应用#

在特定的架构和用例中，尤其是在需要序列处理和连续值估计的情况下，Tanh 依然发挥着至关重要的作用。

• **自然语言处理 (NLP)：**在长短期记忆 (LSTM) 网络和门控循环单元 (GRU) 等架构中，Tanh 被用作调节信息流的主要激活例如，在模型将文本从英文翻译成法文的机器翻译任务中，Tanh 帮助 LSTM 的内部门决定保留或忘记多少先前的上下文（记忆）。这使得模型能够处理句子结构中的长期依赖关系。
• **生成对抗网络 (GAN)：**在许多生成对抗网络的生成器组件中，Tanh 经常被用作输出层的最终激活函数。由于在预处理期间图像通常被归一化到 -1 到 1 的范围，使用 Tanh 可以确保生成器产生同一有效范围内的像素值。该技术有助于为文本转图像生成等应用合成逼真的图像。

对比：Tanh vs. Sigmoid vs. ReLU#

区分 Tanh 与其他常见函数有助于了解何时使用它。

• **Tanh 与 Sigmoid 的对比：**两者都是 S 形曲线。然而，Sigmoid 输出 0 到 1 之间的值，这可能导致梯度比 Tanh 更快消失。Sigmoid 通常保留用于二元分类问题（概率预测）的最终输出层，而 Tanh 更受 RNN 隐藏层的青睐。
• **Tanh 与 ReLU（修正线性单元）的对比：**在像 YOLO26 这样的现代卷积神经网络 (CNN) 中，隐藏层通常更偏爱 ReLU 及其变体（如 SiLU），而不是 Tanh。这是因为对于非常深的网路，ReLU 能更有效地避免梯度消失问题，并且计算成本更低。由于涉及指数计算，Tanh 的计算成本更高。

在 PyTorch 中实现激活函数#

虽然像 Ultralytics YOLO26 这样的大型模型在其配置文件内部处理激活函数的定义，但了解如何使用 PyTorch 应用 Tanh 对于构建自定义模型非常有用。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

对于有兴趣训练自定义架构或有效管理数据集的用户，Ultralytics Platform 提供了一个精简的环境来试验不同的模型超参数、可视化训练指标，并在无需手动编写神经网络每一层代码的情况下部署解决方案。