Tanh (Hyperbolic Tangent)

Tanh（双曲正切）関数は、人工ニューラルネットワークの隠れ層で広く使用されている数理的な活性化関数です。入力値を-1から1の範囲の出力に変換し、シグモイド関数に似ていますがゼロを中心とするS字型の曲線を作り出します。このゼロ中心の特性は、ニューロンの出力を正規化することでモデルがより効率的に学習できるようにし、ネットワーク内を流れるデータの平均がゼロに近くなることを保証するため、極めて重要です。負の値を明示的に処理することで、Tanhはニューラルネットワークがデータ内のより複雑なパターンや関係性を捉えるのを助けます。

ディープラーニングにおけるTanhのメカニズム#

ディープラーニングモデルのアーキテクチャにおいて、活性化関数は非線形性を導入し、ネットワークがデータの異なるクラス間の複雑な境界を学習できるようにします。Tanhのような関数がなければ、ニューラルネットワークは、層の数に関係なく、単純な線形回帰モデルのように振る舞います。Tanh関数は、リカレントニューラルネットワーク (RNN)や、バランスの取れたゼロ中心の活性化分布を維持することが逆伝播中の勾配消失問題を防ぐのに役立つ特定のタイプの前向きネットワークにおいて、特に効果的です。

入力が-1から1の範囲にマッピングされる場合、強く負の入力は負の出力をもたらし、強く正の入力は正の出力をもたらします。これは、値を0と1の間に圧縮するSigmoid関数とは異なります。Tanhの出力はゼロに対して対称であるため、後続の層の重みが一方向に一貫して移動しないため（最適化において「ジグザグ」経路として知られる現象）、勾配降下法のプロセスはしばしばより速く収束します。

実社会での応用#

Tanhは、特にシーケンス処理や連続値の推定が必要な特定のアーキテクチャやユースケースにおいて、引き続き重要な役割を果たしています。

• 自然言語処理 (NLP): Long Short-Term Memory (LSTM) ネットワークや Gated Recurrent Unit (GRU) などのアーキテクチャでは、情報の流れを調整するための主要な活性化として Tanh が使用されます。たとえば、モデルが英語からフランス語にテキストを翻訳する機械翻訳タスクにおいて、Tanh は LSTM の内部ゲートが以前のコンテキスト（記憶）のどれだけを保持または忘却すべきかを決定するのに役立ちます。これにより、モデルは文構造における長期的な依存関係を処理できるようになります。
• 敵対的生成ネットワーク (GAN): 多くの敵対的生成ネットワークのジェネレーターコンポーネントでは、出力層の最終的な活性化関数として Tanh が頻繁に使用されます。前処理中に画像はしばしば -1 から 1 の範囲に正規化されるため、Tanh を使用することでジェネレーターが同じ有効範囲内のピクセル値を生成することが保証されます。このテクニックは、テキストから画像への変換生成などのアプリケーション向けの現実的な画像の合成に役立ちます。

比較: Tanh vs. シグモイド vs. ReLU#

Tanhをいつ使用すべきかを理解するために、他の一般的な関数との違いを確認しておくと役立ちます。

• Tanh と Sigmoid の比較: どちらも S 字型の曲線です。ただし、Sigmoid は 0 から 1 の値を出力するため、Tanh よりも早く勾配が消失する可能性があります。Sigmoid は通常、バイナリ分類問題（確率予測）の最終出力層用に予約されていますが、Tanh は RNN の隠れ層に好まれます。
• Tanh と ReLU (Rectified Linear Unit) の比較: YOLO26 のような現代の畳み込みニューラルネットワーク (CNN) では、隠れ層において Tanh よりも ReLU やその亜種（SiLU など）が一般的に好まれます。これは、ReLU が非常に深いネットワークに対して勾配消失問題をより効果的に回避し、計算コストが安価であるためです。Tanh は、含まれる指数計算のために計算コストが高くなります。

PyTorchにおける活性化関数の実装#

Ultralytics YOLO26 のような高レベルモデルは設定ファイル内でアクティベーション定義を内部的に処理しますが、PyTorch を使用して Tanh を適用する方法を理解することは、カスタムモデルの構築に役立ちます。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

カスタムアーキテクチャのトレーニングやデータセットの効果的な管理に関心のあるユーザー向けに、Ultralytics Platform は、さまざまなモデルのハイパーパラメータを試し、トレーニング指標を視覚化し、ニューラルネットワークのすべての層を手動でコーディングすることなくソリューションをデプロイするための合理化された環境を提供します。