消えるグラデーション

グラデーションが消える原因は？

勾配が消える主な原因は、ある種の活性化関数の性質とネットワーク自体の深さにある。

• 活性化関数： シグモイド関数や双曲正接（tanh）関数のような従来の活性化関数は、入力を非常に小さな出力範囲に絞り込む。これらの関数の導関数は小さい。バックプロパゲーションでは、これらの小さな導関数が何層にもわたって掛け合わされる。ネットワークの層数が多ければ多いほど、これらの小さな数値が掛け合わされ、最終的な勾配はゼロに向かって指数関数的に縮小していく。
• ディープアーキテクチャ：この問題は、初期のリカレント・ニューラル・ネットワーク（RNN）を含む非常に深いネットワークで特に顕著である。各ステップには乗算が含まれるため、長いシーケンスでは勾配信号が減少する可能性がある。

消えるグラデーションと爆発するグラデーション

消失勾配は爆発勾配の反対である。どちらもトレーニング中の勾配の流れに関係する問題だが、その影響は異なる：

• 消える勾配：勾配は指数関数的に縮小し、ネットワークの初期層では小さすぎて意味のある学習ができなくなる。
• 勾配の爆発：勾配が制御不能なほど大きくなり、ウェイトが大量に更新されるため、モデルが不安定になり、収束に失敗する。

この2つの問題に対処することは、深く強力なAIモデルのトレーニングを成功させるために極めて重要である。

解決策と緩和策

消失勾配問題に対処するために、いくつかのテクニックが開発されてきた：

• より良い活性化関数：sigmoidやtanhを、Rectified Linear Unit（ReLU）やその変形（Leaky ReLU、GELU）のような関数に置き換えることは、一般的な解決策である。ReLUの導関数は正入力に対して1であり、勾配の縮小を防ぐ。
• 高度なアーキテクチャ：この問題を軽減するために、特別に設計されたアーキテクチャがある。Residualネットワーク（ResNets）は、勾配がレイヤーをバイパスすることを可能にする「スキップ接続」を導入し、バックプロパゲーション時に短い経路を提供する。シーケンシャルなデータの場合、Long Short-Term Memory (LSTM)とGated Recurrent Unit (GRU)ネットワークは、元のLSTMの論文と GRUの論文で詳述されているように、ゲーティング機構を使って情報と勾配の流れを制御する。
• 重みの初期化：HeやXavier初期化のような方法を用いて、ネットワークの重みを適切に初期化することで、勾配が妥当な範囲内で始まるようにすることができる。これに関するより詳しい情報は、ディープラーニングのベストプラクティスに関するディスカッションで見つけることができる。
• バッチ正規化： バッチ正規化を適用することで、各レイヤーへの入力を正規化することができ、ネットワークを安定させ、初期化への依存を減らすことで、消失勾配問題を緩和することができる。

実社会への影響と実例

消失勾配を克服することは、現代のAIにとって重要なブレークスルーだった。

1. 自然言語処理（NLP）：初期のRNNは、機械翻訳や長文の感情分析のようなタスクで失敗した。LSTMとGRUの発明により、モデルはこのような長距離の依存関係を捉えることができるようになった。Transformerのような最新のアーキテクチャは、自己注意を用いて逐次勾配問題を完全に回避し、最先端のパフォーマンスを実現している。
2. コンピュータビジョンかつては、畳み込みニューラルネットワーク（CNN）を単純に深くしても、勾配が消失するような学習の難しさのために性能は向上しないと考えられていた。ResNetアーキテクチャの導入により、この考えは誤りであることが証明され、何百もの層を持つネットワークが可能になった。これにより、画像分類、画像セグメンテーション、物体検出が大きく進歩し、Ultralytics YOLOのようなモデルの基礎が形成されました。これらのモデルのトレーニングには、しばしば大規模なコンピュータビジョンデータセットが含まれ、Ultralytics HUBのようなプラットフォームで管理することができます。