Tanh（双曲線正接）

Tanh (ハイパーボリックタンジェント) 関数は、人工ニューラルネットワークの隠れ層で広く使用されている数学的な活性化関数です。入力値を-1から1の間の出力範囲に変換し、シグモイド関数に似たS字曲線を作成しますが、ゼロを中心とします。このゼロ中心化特性は、ニューロンの出力を正規化することでモデルがより効率的に学習できるようにし、ネットワークを流れるデータの平均がゼロに近くなるようにするため、非常に重要です。負の値を明示的に処理することで、Tanhはニューラルネットワークがデータ内のより複雑なパターンと関係を捕捉するのに役立ちます。

ディープラーニングにおけるTanhのメカニズム

ディープラーニングモデルのアーキテクチャにおいて、活性化関数は非線形性を導入し、ネットワークが異なるデータクラス間の複雑な境界を学習できるようにします。Tanhのような関数がなければ、ニューラルネットワークは層の数に関わらず、単純な線形回帰モデルのように振る舞うでしょう。Tanh関数は、再帰型ニューラルネットワーク (RNN)や特定の種類のフィードフォワードネットワークにおいて特に効果的です。これらのネットワークでは、バランスの取れたゼロ中心の活性化分布を維持することが、逆伝播中の勾配消失問題を防止するのに役立ちます。

入力が-1から1の範囲にマッピングされると、強く負の入力は負の出力を生み出し、強く正の入力は正の出力を生み出します。これは、値を0から1の間に圧縮するSigmoid関数とは異なります。Tanhの出力はゼロに対して対称であるため、後続の層の重みが一貫して一方向に移動しない（最適化における「ジグザグ」経路として知られる現象）ため、勾配降下プロセスはしばしばより速く収束します。

実際のアプリケーション

Tanhは、特にシーケンス処理と連続値推定が必要とされる特定のアーキテクチャやユースケースにおいて、引き続き重要な役割を果たしています。

• 自然言語処理（NLP）: 長短期記憶（LSTM）ネットワークやゲート付き回帰型ユニット（GRU）のようなアーキテクチャでは、Tanhが情報フローを調整するための主要な活性化関数として使用されます。例えば、モデルがEnglishからフランス語にテキストを翻訳する機械翻訳タスクでは、TanhはLSTMの内部ゲートが以前の文脈（記憶）をどれだけ保持または忘却するかを決定するのに役立ちます。これにより、モデルは文構造における長期的な依存関係を処理できます。
• 敵対的生成ネットワーク (GAN): 多くの敵対的生成ネットワークのジェネレーターコンポーネントでは、Tanhが出力層の最終活性化関数として頻繁に使用されます。画像は前処理中に-1から1の範囲に正規化されることが多いため、Tanhを使用することで、ジェネレーターが同じ有効範囲内のピクセル値を生成することを保証します。この技術は、テキストから画像への生成のようなアプリケーションで現実的な画像を合成するのに役立ちます。

比較: Tanh vs. Sigmoid vs. ReLU

Tanhを他の一般的な関数と区別することは、いつ使用すべきかを理解するために有用です。

• TanhとSigmoidの比較:どちらもS字型の曲線です。しかし、Sigmoidは0から1の間の値を出力するため、Tanhよりも早く勾配が消失する可能性があります。Sigmoidは通常、二値classification問題の最終出力層（確率予測）に用いられ、TanhはRNNの隠れ層に好まれます。
• TanhとReLU (Rectified Linear Unit)の比較:現代のYOLO26のような畳み込みニューラルネットワーク（CNN）では、隠れ層には、ReLUとその派生形（SiLUなど）がTanhよりも一般的に好まれます。これは、ReLUが非常に深いネットワークにおいて勾配消失問題をより効果的に回避し、計算コストが低いからです。Tanhは、指数計算が伴うため、計算コストが高くなります。

PyTorchでの活性化関数の実装

YOLO26のような高レベルモデルは、設定ファイル内で活性化関数の定義を内部的に処理しますが、PyTorchを使用してTanhを適用する方法を理解することは、カスタムモデル構築に役立ちます。

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

カスタムアーキテクチャの学習やデータセットの効率的な管理に関心のあるユーザーには、Ultralytics Platformが、異なるモデルハイパーパラメータを実験し、トレーニングメトリクスを可視化し、ニューラルネットワークのすべての層を手動でコーディングすることなくソリューションをデプロイするための効率化された環境を提供します。