Tanh (Hyperbolic Tangent)

Tanh (双曲正切) 函数是一种数学激活函数，广泛应用于人工神经网络的隐藏层中。它将输入值转换为 -1 到 1 之间的输出范围，形成类似于 sigmoid 函数但以零为中心的 S 形曲线。这种零中心化特性至关重要，因为它通过归一化神经元的输出，确保流经网络的数据平均值更接近零，从而使模型能够更高效地学习。通过显式处理负值，Tanh 能够帮助神经网络捕获数据中更复杂的模式和关系。

Link to this section深度学习中 Tanh 的机制#

In the architecture of deep learning models, activation functions introduce non-linearity, enabling the network to learn complex boundaries between different classes of data. Without functions like Tanh, a neural network would behave like a simple linear regression model, regardless of how many layers it has. The Tanh function is particularly effective in recurrent neural networks (RNN) and certain types of feed-forward networks where maintaining a balanced, zero-centered activation distribution helps prevent the vanishing gradient problem during backpropagation.

当输入映射到 -1 到 1 的范围时，强负输入导致负输出，强正输入导致正输出。这与 Sigmoid 函数不同，后者将值压缩在 0 到 1 之间。由于 Tanh 输出在零附近对称，梯度下降过程通常收敛得更快，因为后续层中的权重不会持续向单一方向移动（这种现象在优化中被称为“之字形”路径）。

Link to this section实际应用#

在特定的架构和用例中，尤其是在需要序列处理和连续值估计的情况下，Tanh 依然发挥着至关重要的作用。

• 自然语言处理 (NLP)： 在诸如长短期记忆 (LSTM) 网络和门控循环单元 (GRU) 等架构中，Tanh 被用作调节信息流的主要激活函数。例如，在机器翻译任务中，模型将文本从英语翻译成法语，Tanh 帮助 LSTM 的内部门决定保留或遗忘多少先前的上下文（记忆）。这使得模型能够处理句子结构中的长期依赖关系。
• 生成对抗网络 (GAN)： 在许多生成对抗网络的生成器组件中，Tanh 经常被用作输出层的最终激活函数。由于图像在预处理过程中通常被归一化到 -1 到 1 的范围，使用 Tanh 可以确保生成器产生处于相同有效范围内的像素值。这种技术有助于为文生图生成等应用合成逼真的图像。

Link to this section对比：Tanh vs. Sigmoid vs. ReLU#

区分 Tanh 与其他常见函数有助于了解何时使用它。

• Tanh vs. Sigmoid： 两者都是 S 形曲线。然而，Sigmoid 输出 0 到 1 之间的值，这可能导致梯度比 Tanh 更快消失。Sigmoid 通常保留用于二元分类问题的最终输出层（概率预测），而 Tanh 更受 RNN 隐藏层的青睐。
• Tanh vs. ReLU (修正线性单元)： 在诸如 YOLO26 等现代卷积神经网络 (CNN) 中，对于隐藏层，ReLU 及其变体（如 SiLU）通常比 Tanh 更受欢迎。这是因为 ReLU 能更有效地避免极深网络的梯度消失问题，且计算成本更低。由于涉及指数运算，Tanh 的计算开销更大。

Link to this section在 PyTorch 中实现激活函数#

虽然像 YOLO26 这样的高级模型会在其配置文件内部处理激活定义，但了解如何使用 PyTorch 应用 Tanh 对于构建自定义模型非常有用。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

对于有兴趣训练自定义架构或有效管理数据集的用户，Ultralytics Platform 提供了一个简化的环境，可以尝试不同的模型超参数，可视化训练指标，并部署解决方案，而无需手动编写神经网络的每一层代码。