Tanh（双曲線正接）

タン（双曲線正接）関数は、人工ニューラルネットワークの隠れ層で広く用いられる数学的活性化関数である。入力値を-1から1の範囲の出力に変換し、シグモイド関数に似たS字曲線を生成するが、中心がゼロに位置する。このゼロ中心化特性は極めて重要であり、ニューロンの出力を正規化することでモデルの学習効率を高め、データの流れを安定化させる。 シグモイド関数に似たS字曲線を描きますが、中心がゼロに位置します。このゼロ中心化特性は極めて重要であり、ニューロンの出力を正規化することでモデルの学習効率を高め、ネットワークを通過するデータの平均値をゼロに近づける役割を果たします。負の値を明示的に扱うことで、タンジェント関数はニューラルネットワークがデータ内のより複雑なパターンや関係を捕捉するのを支援します。

深層学習におけるTanhのメカニズム

深層学習モデルのアーキテクチャにおいて、活性化関数は非線形性を導入し、ネットワークが異なるデータクラス間の複雑な境界を学習することを可能にする。Tanhのような関数がなければ、ニューラルネットワークは層の数に関わらず単純な線形回帰モデルのように振る舞うだろう。 Tanh関数は特に、 再帰型ニューラルネットワーク（RNN）や 特定の種類のフィードフォワードネットワークにおいて効果的である。 これらのネットワークでは、均衡の取れたゼロ中心の活性化分布を維持することが、 バックプロパゲーション時の勾配 消失問題を防ぐのに役立つ。

入力が-1から1の範囲にマッピングされると、強い負の入力は負の出力を、強い正の入力は正の出力を生み出す。これは値を0から1の間に押しつぶすシグモイド関数とは異なる。 Tanh関数の出力はゼロを中心に対称であるため、 後続層の重みが単一方向に一貫して移動しない（最適化における「ジグザグ経路」として知られる現象）ことで、 勾配降下法の収束がしばしば速くなる。

実際のアプリケーション

Tanhは特定のアーキテクチャやユースケースにおいて、特にシーケンス処理や連続的な値推定が必要な場面で、重要な役割を果たし続けている。

• 自然言語処理（NLP）：長短期記憶（LSTM）ネットワークやゲート付き再帰型ユニット（GRU）などのアーキテクチャでは、 ゲート付き再帰ユニット（GRU）などのアーキテクチャでは、情報の流れを調整する主要な活性化関数としてTanhが用いられる。例えば、 モデルがEnglish テキストを翻訳する機械翻訳タスクでは、 TanhはLSTMの内部ゲートが過去の文脈（記憶）をどれだけ保持または忘却するかを決定するのに役立つ。これにより、モデルは文構造における長期依存性を処理できる。
• 生成的敵対ネットワーク（GAN）： 多くの生成的敵対ネットワークの生成器コンポーネントでは、出力層の最終活性化関数としてTanhが頻繁に使用される。画像の前処理では-1から1の範囲に正規化されることが多いため、Tanhを使用することで生成器が同じ有効範囲内のピクセル値を生成することを保証する。この手法は、テキストから画像生成などのアプリケーション向けに現実的な画像を合成するのに役立つ。

比較：Tanh vs. シグモイド vs. ReLU

Tanhを他の一般的な関数と区別することは、いつ使用すべきかを理解する上で有用です。

• タンジェントヒポグリフォイド関数とシグモイド関数：どちらもS字型の曲線である。 しかしシグモイド関数は0から1の値を出力するため、タンジェントヒポグリフォイド関数よりも勾配が早く消失する可能性がある。 シグモイド関数は通常、二値分類問題（確率予測）の最終出力層に限定して使用されるのに対し、 タンジェントヒポグリフォイド関数はRNNの隠れ層で好んで用いられる。
• Tanh 対 ReLU (整流線形関数): YOLO26のような現代の畳み込みニューラルネットワーク(CNN)では、 隠れ層においてTanhよりもReLUとその変種(SiLUなど)が 一般的に好まれる。これはReLUが非常に深いネットワークにおいて 消失勾配問題をより効果的に回避し、計算コストが低いからである。 Tanhは指数関数的な計算を伴うため、 計算コストが高い。

PyTorchにおける活性化関数の実装

YOLO26のような高レベルモデルは設定ファイル内で内部的に活性化定義を処理しますが、 PyTorch の活用方法はカスタムモデル構築において有用である。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

カスタムアーキテクチャのトレーニングやデータセットの効果的な管理に関心のあるユーザー向けに、 Ultralytics 、 ニューラルネットワークの各層を手動でコーディングする必要なく、 様々なモデルのハイパーパラメータを実験し、 トレーニングメトリクスを可視化し、 ソリューションをデプロイするための合理化された環境を提供します。