Tanh (Hyperbolic Tangent)

Tanh（双曲線正接）関数は、人工ニューラルネットワークの隠れ層で広く使用されている数学的な活性化関数です。入力値を-1から1の範囲の出力に変換し、シグモイド関数に似たS字型の曲線を形成しますが、0を中心としています。このゼロ中心化特性は、ニューロンの出力を正規化し、ネットワークを流れるデータの平均を0に近づけることで、モデルがより効率的に学習できるようにするため重要です。負の値を明示的に処理することで、Tanhはニューラルネットワークがデータ内のより複雑なパターンや関係を捉えるのに役立ちます。

ディープラーニングにおけるTanhの仕組み#

ディープラーニングモデルのアーキテクチャでは、活性化関数が非線形性を導入し、ネットワークが異なるデータクラス間の複雑な境界を学習できるようにします。Tanhのような関数がなければ、ニューラルネットワークは層の数に関係なく、単純な線形回帰モデルのように動作します。Tanh関数は、バランスの取れたゼロ中心の活性化分布を維持することで、バックプロパゲーション中の勾配消失問題を防ぐのに役立つため、特にリカレントニューラルネットワーク（RNN）や一部のフィードフォワードネットワークで効果的です。

入力が-1から1の範囲にマッピングされると、非常に負の入力は負の出力になり、非常に正の入力は正の出力になります。これは、値を0から1の間に圧縮するSigmoid関数とは異なります。Tanhの出力は0を中心に対称であるため、後続層の重みが一方向に一貫して移動しなくなり、勾配降下プロセスは多くの場合より速く収束します。これは、最適化における「ジグザグ」経路として知られる現象です。

実世界での利用例#

Tanhは、特定のアーキテクチャやユースケース、特に系列処理や連続値の推定が必要な場面で、引き続き重要な役割を果たしています。

• 自然言語処理（NLP）： 長短期記憶（LSTM）ネットワークやゲート付きリカレントユニット（GRU）などのアーキテクチャでは、Tanhが情報の流れを制御する主要な活性化関数として使用されます。たとえば、モデルが英語のテキストをフランス語に翻訳する機械翻訳タスクでは、TanhがLSTMの内部ゲートによる、以前のコンテキスト（メモリ）をどの程度保持または破棄するかの判断を支援します。これにより、モデルは文構造における長期依存関係を処理できます。
• 敵対的生成ネットワーク（GANs）： 多くの敵対的生成ネットワークのジェネレーターコンポーネントでは、Tanhが出力層の最終活性化関数として頻繁に使用されます。前処理中に画像が-1から1の範囲に正規化されることが多いため、Tanhを使用すると、ジェネレーターは同じ有効範囲内のピクセル値を生成できます。この手法は、テキストから画像への生成などの用途でリアルな画像を合成するのに役立ちます。

比較：TanhとSigmoidとReLU#

Tanhをいつ使用するかを理解するには、Tanhとその他の一般的な関数を区別すると役立ちます。

• TanhとSigmoid： どちらもS字型の曲線です。ただし、Sigmoidは0から1の間の値を出力するため、Tanhよりも速く勾配が消失する可能性があります。Sigmoidは通常、2値分類問題の最終出力層（確率予測）に使用される一方、TanhはRNNの隠れ層に適しています。
• TanhとReLU（正規化線形ユニット）： YOLO26のような最新の畳み込みニューラルネットワーク（CNNs）では、隠れ層にTanhよりもReLUとその派生関数（SiLUなど）が一般的に好まれます。これは、非常に深いネットワークでReLUのほうが勾配消失問題を効果的に回避でき、計算コストも低いためです。Tanhは指数計算を伴うため、計算コストがより高くなります。

PyTorchでの活性化関数の実装#

Ultralytics YOLO26のような高レベルモデルは、設定ファイル内で活性化関数の定義を内部的に処理しますが、カスタムモデルの構築には、PyTorchを使用してTanhを適用する方法を理解しておくと役立ちます。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

カスタムアーキテクチャのトレーニングやデータセットの効率的な管理に関心があるユーザー向けに、Ultralytics Platformは、さまざまなモデルハイパーパラメーターを試し、トレーニング指標を可視化し、ニューラルネットワークのすべての層を手動でコーディングすることなくソリューションをデプロイできる、効率化された環境を提供します。