タン（双曲線タンジェント）

Tanh（Hyperbolic Tangent）はニューラルネットワークで広く使われている活性化関数で、入力値を-1から1の範囲に押し込む数学的関数である。入力値を-1から1の間の範囲に押し込む数学的関数であり、視覚的にはシグモイド関数に似た「S」字型のカーブを描く。つまり、負の入力は負の出力に、正の入力は正の出力にマッピングされる。この特性は、モデルの学習プロセスにおいて、勾配降下のような最適化アルゴリズムの収束を早めるのに役立ちます。

Tanhの仕組み

ディープラーニングモデルでは、活性化関数は、重み付き和を計算し、さらにバイアスを加えることによって、ニューロンを活性化すべきかどうかを決定する。Tanh関数は任意の実数を受け取り、それを範囲[-1, 1]にマッピングする。大きな正の値は1の近くに、大きな負の値は-1の近くにマッピングされ、ゼロに近い値はゼロ近傍の値にマッピングされる。このゼロ中心の性質は大きな利点で、レイヤーの出力が一方向にシフトしすぎるのを防ぎ、学習をより安定させることができる。詳細な技術的説明については、Stanfordなどの機関が活性化関数に関する詳細なコースノートを提供しています。

他の活性化関数との比較

Tanhはしばしば他の活性化関数と比較されるが、それぞれに長所と短所がある：

• タンとシグモイド：どちらの関数も似たようなS字形をしている。しかし、Sigmoid関数は範囲内の値を出力するのに対し、Tanh関数は[-1, 1]の値を出力する。Tanhの出力はゼロ中心であるため、ネットワークの隠れ層ではSigmoidよりも好まれることが多い。
• TanhとReLUの比較： ReLUとその亜種であるLeaky ReLUや SiLUは、多くの最新のコンピュータビジョンアーキテクチャでデフォルトの選択肢となっている。Tanhとは異なり、ReLUは計算コストがかからず、バックプロパゲーション中に勾配が極端に小さくなるvanishing gradient問題を軽減するのに役立つ。しかし、Tanhは、有界出力が必要とされる特定の文脈では、依然として価値がある。Ultralytics YOLO11のようなモデルでは、最新の活性化関数が使用されています。

AIと機械学習の応用

タンは歴史的に特に人気のある選手だ：

• リカレント・ニューラル・ネットワーク（RNN）：Tanhは、RNNやLong Short-Term Memory (LSTM)ネットワークの隠れ状態、特に自然言語処理(NLP)のタスクによく使われる。その境界範囲は、リカレント接続内の情報の流れを調整するのに役立つ。詳細は「LSTMを理解する」を参照。
• センチメント分析：旧来のNLPモデルでは、Tanhはテキストから抽出された特徴（例えば、RNNによって処理された単語の埋め込み）を、否定的（-1）から肯定的（+1）までのセンチメントの極性を表す連続的な範囲にマッピングするのに役立った。センチメント分析に関連するデータセットは、Kaggleのようなプラットフォームで見つけることができる。
• 制御システムとロボット工学 強化学習(RL)では、Tanhは、特定の範囲に束縛された連続的なアクションを出力するポリシーの最終活性化関数として使われることがある（例えば、モーターのトルクを-1から+1の間で制御する）。Gymnasium(旧OpenAI Gym)のようなフレームワークはRL研究でよく使用される。
• 隠れ層：フィードフォワードネットワークの隠れ層に使用できるが、現在ではReLUのバリエーションが一般的である。ゼロ中心特性が特定の問題やアーキテクチャにとって特に有益な場合に選択されるかもしれない。モデル比較のページで、さまざまなアーキテクチャの性能を調べることができます。

Ultralytics YOLOのような最新のアーキテクチャは、物体検出などのタスクにSiLUのような関数を利用することが多いが、Tanhを理解することは依然として価値がある。Tanhは活性化関数の進化にコンテキストを提供し、特定のネットワーク設計やレガシーシステムに現れるかもしれない。PyTorchや TensorFlowのようなフレームワークは、Tanhの標準的な実装を提供している。Ultralytics HUBのようなプラットフォームを使って、様々な活性化関数を訓練し、実験することができる。Papers with Codeのウェブサイトには、Tanhを利用した研究も掲載されている。