Tanh（双曲線正接）

Tanh（双曲線正接）は、ニューラルネットワークで広く使用されている活性化関数です。これは、入力値を-1から1の範囲に圧縮する数学関数です。視覚的には、シグモイド関数に似た「S」字型の曲線になります。その主な特徴は、出力がゼロ中心であることです。つまり、負の入力は負の出力に、正の入力は正の出力にマッピングされます。この特性は、モデルのトレーニングプロセス中に、勾配降下法などの最適化アルゴリズムの収束を高速化するのに役立ちます。

Tanhの仕組み

深層学習モデルでは、活性化関数は、ニューロンを活性化するかどうかを、重み付き和を計算し、それにバイアスを加えることによって決定します。Tanh関数は、任意の実数を取り、それを[-1, 1]の範囲にマッピングします。大きな正の値は1に近い値にマッピングされ、大きな負の値は-1に近い値にマッピングされ、ゼロに近い値はゼロ付近の値にマッピングされます。このゼロ中心の性質は大きな利点であり、層の出力が一方方向に偏りすぎるのを防ぎ、トレーニングをより安定させるのに役立ちます。詳細な技術的説明については、スタンフォードのような機関のリソースが、活性化関数に関する詳細な講義ノートを提供しています。

他の活性化関数との比較

Tanhは、他の活性化関数としばしば比較されます。それぞれの活性化関数には、独自の長所と短所があります。

• Tanh vs. Sigmoid: どちらの関数も同様のS字型をしています。ただし、シグモイド関数は範囲の値を出力しますが、Tanhは[-1、1]の範囲の値を出力します。Tanhの出力はゼロ中心であるため、ネットワークの隠れ層ではシグモイドよりも優先されることが多く、収束が速くなる傾向があります。
• Tanh vs. ReLU: ReLUおよびそのバリアント（Leaky ReLUやSiLUなど）は、多くの最新のコンピュータビジョンアーキテクチャでデフォルトの選択肢となっています。Tanhとは異なり、ReLUは計算コストが高くなく、勾配消失問題（バックプロパゲーション中に勾配が非常に小さくなる）を軽減するのに役立ちます。ただし、Tanhは、境界のある出力が必要な特定のコンテキストでは依然として価値があります。Ultralytics YOLO11などのモデルでの最新のアクティベーション関数の使用法をご覧ください。

AIと機械学習における応用

Tanhは、歴史的に特に以下のような場合に広く利用されてきました。

• リカレントニューラルネットワーク（RNN）: Tanhは、RNNの隠れ層や、特に自然言語処理（NLP）のタスクにおいて、Long Short-Term Memory（LSTM）ネットワークのようなバリアントで一般的に使用されていました。その有界な範囲は、リカレント接続内の情報の流れを調整するのに役立ちます。詳細については、LSTMの理解を参照してください。
• 感情分析: 以前のNLPモデルでは、Tanhはテキストから抽出された特徴（例えば、RNNで処理された単語埋め込み）を、ネガティブ（-1）からポジティブ（+1）までの感情極性を示す連続的な範囲にマッピングするのに役立ちました。Kaggleなどのプラットフォームで、感情分析に関連するデータセットを見つけることができます。
• 制御システムとロボティクス: 強化学習（RL）において、Tanhは、特定の範囲内で制限された連続的なアクションを出力するポリシーの最終的な活性化関数として使用されることがあります（例：モーターのトルクを-1から+1の間で制御）。Gymnasium（旧OpenAI Gym）のようなフレームワークは、RLの研究でよく使用されます。
• 隠れ層: フィードフォワードネットワークの隠れ層で使用できますが、現在ではReLUのバリアントがより一般的です。ゼロ中心の特性が特定の問題やアーキテクチャに特に有益な場合に選択されることがあります。異なるアーキテクチャの性能は、モデル比較ページで確認できます。

Ultralytics YOLOのような最新のアーキテクチャは、物体検出のようなタスクにSiLUのような関数をよく利用しますが、Tanhを理解することは依然として価値があります。アクティベーション関数の進化の背景を提供し、特定のネットワーク設計またはレガシーシステムにまだ登場する可能性があります。PyTorchやTensorFlowのようなフレームワークは、Tanhの標準的な実装を提供します。Ultralytics HUBのようなプラットフォームを使用して、さまざまなアクティベーション関数をトレーニングおよび実験できます。Papers with Codeのウェブサイトには、Tanhを利用した研究も掲載されています。