Tanh（双曲正切函数）

Tanh（双曲正切）函数是一种数学激活函数，广泛应用于人工神经网络的隐藏层。它将输入值转换为介于 -1 和 1 之间的输出范围，形成一个类似于 Sigmoid 函数但以零为中心的 S 形曲线。这种零中心特性至关重要，因为它通过归一化神经元的输出，确保流经网络的数据平均值更接近零，从而使模型能够更有效地学习。通过明确处理负值，Tanh 有助于神经网络捕获数据中更复杂的模式和关系。

Tanh 在深度学习中的机制

在深度学习模型的架构中，激活函数引入了非线性，使网络能够学习不同数据类别之间的复杂边界。如果没有像 Tanh 这样的函数，无论有多少层，神经网络都将表现得像一个简单的线性回归模型。Tanh 函数在循环神经网络 (RNN)和某些类型的前馈网络中特别有效，在这些网络中，保持平衡的、以零为中心的激活分布有助于在反向传播过程中防止梯度消失问题。

当输入映射到 -1 到 1 的范围时，强负输入产生负输出，强正输入产生正输出。这与将值压缩到 0 到 1 之间的Sigmoid函数不同。由于 Tanh 输出以零为中心对称，梯度下降过程通常收敛更快，因为后续层中的权重不会始终朝一个方向移动（这种现象在优化中被称为“锯齿形”路径）。

实际应用

Tanh 在特定架构和用例中继续发挥着至关重要的作用，尤其是在需要序列处理和连续值估计的场景中。

• 自然语言处理 (NLP)：在长短期记忆 (LSTM) 网络和门控循环单元 (GRU) 等架构中，Tanh 被用作调节信息流的主要激活函数。例如，在模型将 English 文本翻译成法语的机器翻译任务中，Tanh 帮助 LSTM 的内部门决定保留或遗忘多少先前的上下文（记忆）。这使得模型能够处理句子结构中的长期依赖关系。
• 生成对抗网络 (GANs)：在许多 生成对抗网络 的生成器组件中，Tanh 经常被用作输出层的最终激活函数。由于图像在预处理过程中通常被归一化到 -1 到 1 的范围，使用 Tanh 确保生成器产生的像素值落在相同的有效范围内。这种技术有助于为 文本到图像 生成等应用合成逼真的图像。

比较：Tanh、Sigmoid 与 ReLU

区分 Tanh 与其他常见函数有助于理解何时使用它。

• Tanh 与 Sigmoid：两者都是 S 形曲线。然而，Sigmoid 输出介于 0 和 1 之间的值，这可能导致梯度比 Tanh 更快地消失。Sigmoid 通常保留用于二元分类问题（概率预测）的最终输出层，而 Tanh 则更适用于 RNN 中的隐藏层。
• Tanh 与ReLU（修正线性单元）：在像YOLO26这样的现代卷积神经网络 (CNN) 中，ReLU 及其变体（如SiLU）通常比 Tanh 更受青睐用于隐藏层。这是因为 ReLU 对于非常深的神经网络能更有效地避免梯度消失问题，并且计算成本更低。Tanh 由于涉及指数计算，计算成本更高。

在 PyTorch 中实现激活函数

尽管像YOLO26这样的高级模型在其配置文件内部处理激活函数定义，但了解如何使用PyTorch应用 Tanh 对于自定义模型构建很有用。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

对于有兴趣训练自定义架构或有效管理数据集的用户，Ultralytics Platform提供了一个简化的环境，可以试验不同的模型超参数、可视化训练指标并部署解决方案，而无需手动编写神经网络的每一层代码。