Tanh（双曲正切函数）

Tanh（双曲切线）是一种广泛应用于 激活函数 深度学习领域广泛使用的激活函数。 神经网络的非线性。在数学上，它将 这种 "S "形曲线类似于 Sigmoid函数类似，但由于其 以零为中心的输出。通过将负输入映射到强负输出和将正输入映射到强正输出，Tanh 通过将负输入映射到强负输出和将正输入映射到强正输出，Tanh 可以比简单的线性回归更有效地为复杂模式建模。 线性回归，使其成为 在 人工智能史上的奠基石。

Tanh 的工作原理

Tanh 的主要作用是根据加权输入确定神经元的输出。它将任何 实值输入转化为 [-1, 1] 的有界范围。这一特性被称为 "零中心"，即输出值的平均值更接近于[-1, 1]。 输出值的平均值更接近于 0，而 Sigmoid 等函数的输出值介于 0 和 1 之间。 1.

零中心数据对优化算法（如......）的效率至关重要。 优化算法（如 随机梯度下降 (SGD) 等优化算法的效率至关重要。 在反向传播过程中，零中心激活 在反向传播过程中，零中心激活可以让梯度更自由地向正或负方向移动，防止权重更新中出现 "之 "字形行为，从而减慢算法速度。 权重更新行为，这种行为会减慢模型训练速度。 如需深入了解这些动态、 斯坦福大学的 CS231n 笔记提供了极好的技术概述。 出色的技术概述。

Tanh 函数在现代框架中很容易找到。下面是一个可运行的示例，使用 PyTorch运行的示例，演示如何将输入 映射到 [-1, 1] 范围。

import torch
import torch.nn as nn

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Create a sample tensor with negative, zero, and positive values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Apply Tanh: Values are squashed between -1 and 1
output = tanh(input_data)
print(f"Output: {output}")
# Output: tensor([-0.9640, -0.4621,  0.0000,  0.4621,  0.9640])

与相关激活函数的比较

要了解何时使用 Tanh，需要将它与术语表中的其他常用激活函数区分开来。 术语表。

• Tanh 与 Sigmoid：两者具有相似的 S 形，但 Sigmoid 将输出限制在 [0，1]。Tanh 的范围为 [-1, 1]，梯度较陡，因此通常更适合用于隐藏层。 因为它可以减轻非零中心数据造成的偏移问题。
• Tanh 对 ReLU：虽然 Tanh 功能强大，但也存在梯度消失问题。 梯度消失问题。 在输入量非常大或非常小的情况下梯度几乎为零，从而有效地停止了深度网络的学习。 ReLU则通过保持梯度 保持不变。现代架构，如 YOLO11等现代架构通常更倾向于使用 ReLU 或 SiLU的计算效率 和训练更深模型的能力。

在 AI 和机器学习中的应用

尽管 ReLU 兴起，Tanh 对于特定的架构和任务仍然至关重要。

递归神经网络（RNN）与 NLP

Tanh 一直是递归神经网络（RNN）的标准激活函数。 递归神经网络（RNN）和 长短期记忆 (LSTM)网络的标准激活函数。 在 自然语言处理（NLP） 任务中，如机器翻译或文本 在自然语言处理（NLP）任务中，如机器翻译或文本生成，Tanh 可调节流经网络存储单元的信息流，确保数值在传播过程中不会爆炸。 在时间中传播。

生成式对抗网络（GANs）

在 在生成对抗网络（GAN）中，Tanh 常用于生成器模型的最后一层。它可以将生成图像的输出像素值 它将生成图像的输出像素值缩放至[-1, 1]的归一化范围，这有助于稳定对抗训练过程与 判别器。你可以在开创性的著作中看到这种架构，比如 DCGAN 论文。

情感分析

对于简单的情感分析模型，Tanh 作为输出激活，将情感分数直接映射到一个连续体，其中 -1 代表高度负面的情感，0 代表中性，+1 代表高度正面。 情绪，0 表示中性，+1 表示高度积极。这种直观的映射使我们更容易解释模型 预测。

虽然最先进的计算机视觉模型 如 YOLO11等最先进的计算机视觉模型已经转向无界函数 特征提取，Tanh 仍然是深度学习工程师工具包中的重要工具，尤其是在需要有界、零中心输出的任务中。 需要有界、零中心输出的任务。