Tanh (Hyperbolic Tangent)

Tanh（双曲線正接）関数は、人工ニューラルネットワークの隠れ層で広く使用されている数学的な活性化関数です。入力値を-1から1の出力範囲に変換し、シグモイド関数と似たS字型の曲線を描きますが、中心はゼロに設定されます。このゼロを中心とする特性は重要です。ニューロンの出力を正規化することでネットワーク内を流れるデータの平均をゼロに近づけ、モデルがより効率的に学習できるようにするためです。負の値を明示的に処理することで、Tanhはニューラルネットワークがデータ内のより複雑なパターンや関係性を捉えることを支援します。

Link to this sectionディープラーニングにおけるTanhのメカニズム#

In the architecture of deep learning models, activation functions introduce non-linearity, enabling the network to learn complex boundaries between different classes of data. Without functions like Tanh, a neural network would behave like a simple linear regression model, regardless of how many layers it has. The Tanh function is particularly effective in recurrent neural networks (RNN) and certain types of feed-forward networks where maintaining a balanced, zero-centered activation distribution helps prevent the vanishing gradient problem during backpropagation.

入力が-1から1の範囲にマッピングされるとき、強く負の入力は負の出力を、強く正の入力は正の出力を生成します。これは値を0から1の間に押し込めるシグモイド関数とは異なります。Tanhの出力はゼロを中心に対称であるため、後続の層の重みが一方向にのみ動き続けることがなく（最適化における「ジグザグ」経路として知られる現象）、勾配降下法のプロセスは多くの場合、より速く収束します。

Link to this section実社会での応用#

Tanhは、特にシーケンス処理や連続値の推定が必要な特定のアーキテクチャやユースケースにおいて、引き続き重要な役割を果たしています。

• 自然言語処理 (NLP): Long Short-Term Memory (LSTM) ネットワークや Gated Recurrent Units (GRU) のようなアーキテクチャでは、情報の流れを制御するための主要な活性化関数としてTanhが使用されます。例えば、モデルが英語からフランス語へテキストを翻訳する機械翻訳タスクにおいて、TanhはLSTMの内部ゲートが前回のコンテキスト（メモリ）をどれだけ保持し、どれだけ忘れるかを決定するのを支援します。これにより、モデルは文構造における長期的な依存関係を扱うことができます。
• 敵対的生成ネットワーク (GAN): 多くの敵対的生成ネットワークの生成器コンポーネントにおいて、Tanhは出力層の最終的な活性化関数として頻繁に使用されます。画像は前処理時に通常-1から1の範囲に正規化されるため、Tanhを使用することで生成器は同じ有効範囲内のピクセル値を確実に出力できます。この手法は、テキストから画像への生成といったアプリケーションに向けた現実的な画像の合成に役立ちます。

Link to this section比較: Tanh vs. シグモイド vs. ReLU#

Tanhをいつ使用すべきかを理解するために、他の一般的な関数との違いを確認しておくと役立ちます。

• Tanh vs. シグモイド: どちらもS字型の曲線ですが、シグモイドは0から1の間の値を出力するため、Tanhよりも勾配が速く消失する可能性があります。シグモイドは通常、二値分類問題（確率予測）の最終出力層に限定されますが、TanhはRNNの隠れ層において好まれます。
• Tanh vs. ReLU (正規化線形関数): YOLO26のような現代の畳み込みニューラルネットワーク (CNN) では、隠れ層に対してTanhよりもReLUやそのバリアント（SiLUなど）が一般的に好まれます。これは、ReLUの方が非常に深いネットワークにおいて勾配消失問題をより効果的に回避し、計算コストも低いためです。Tanhは指数計算を伴うため、計算コストが高くなります。

Link to this sectionPyTorchにおける活性化関数の実装#

YOLO26のような高度なモデルは、構成ファイル内で内部的に活性化関数を定義しますが、PyTorchを使用してTanhを適用する方法を理解することは、カスタムモデルを構築する上で有用です。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

カスタムアーキテクチャのトレーニングやデータセットの効率的な管理に関心のあるユーザー向けに、Ultralytics Platformは、さまざまなモデルのハイパーパラメータを試したり、トレーニング指標を可視化したり、ニューラルネットワークの各層を手動でコーディングすることなくソリューションをデプロイしたりするための、最適化された環境を提供しています。