雨漏りするReLU

Leaky ReLUの仕組み

ReLUと同様に、Leaky ReLUは入力が正であればそのまま出力する。しかし、負の入力に対してゼロを出力するReLUとは異なり、Leaky ReLUは、負の入力に対して小さく、ゼロでない一定の勾配（スロープ）を許容する。この "リーク "によって、入力が負であってもニュー ロンはアクティブであり続け、勾配がネットワークを逆流し、継続的な学習が可 能になる。この小さな勾配は通常固定された小さな値（例えば0.01）であるが、Parametric ReLU（PReLU）のようなバリエーションでは、学習中にこの勾配を学習することができる。

死にゆくReLU問題への対応

リークReLUの主な動機は、瀕死のReLU問題を軽減することである。標準的なReLUニューロンが大きな負の入力を受けると、その出力はゼロになる。学習中に戻ってくる勾配もゼロであれば、ニューロンの重みは更新されず、すべての入力に対して永久に非アクティブのままになる可能性がある。Leaky ReLUは、負の入力に対しても常にゼロではない小さな勾配が存在するようにすることで、これを防ぐ。

AIとMLにおける関連性と応用

Leaky ReLUは、トレーニングの間中アクティブなニューロンを維持することが重要なシナリオにおいて、貴重なツールである。標準的なReLUと同様の計算効率により、大規模モデルに適している。主な応用例

• コンピュータビジョン（CV）：リークReLUは、画像分類、物体検出、画像セグメンテーションのようなタスクのための畳み込みニューラルネットワーク（CNN）でよく使われる。例えば Ultralytics YOLOモデルは、モデルの精度と学習の安定性を向上させるために、Leaky ReLU層を利用していました。一方 YOLO11のような新しいモデルは、SiLUのような他の活性化を使用するかもしれませんが、Leaky ReLUは、特に計算コストが大きな制約である場合には、依然として実行可能なオプションです。
• 生成的逆数ネットワーク（GAN）： 生成AIでは、勾配が消滅するのを防ぐため、GAN構造の識別器部分にLeaky ReLUが頻繁に使用され、GANの学習を安定させるのに役立っている。また、ジェネレーター・ネットワークでも使用することができる。
• 自然言語処理（NLP）：CVほど一般的ではないが、Leaky ReLUはNLPタスクのための特定のディープラーニングアーキテクチャに適用できる。
• リアルタイム推論：計算がシンプルなため、エッジデバイスへの展開を含め、高速推論を必要とするアプリケーションに適している。

リークしたReLUと他の活性化機能との比較

標準的なReLUと比較して、Leaky ReLUの主な利点は、瀕死のニューロン問題を回避することです。ELU（Exponential Linear Unit）やSiLU（Sigmoid Linear Unit）のような他の活性化関数もこの問題に対処しており、以下のようなモデルに見られるように、より滑らかな勾配などの利点を提供することもある。 Ultralytics YOLOv8.しかし、ELUのようなこれらの代替案は、Leaky ReLUよりも計算コストが高くなる可能性があります（活性化関数の比較を参照）。最適な選択は、多くの場合、特定のニューラルネットワークアーキテクチャ、データセット（Ultralytics Datasetsにあるようなもの）、およびハイパーパラメータチューニングのようなプロセスを通じて得られた経験的結果に依存します。次のようなフレームワークがあります。 PyTorch(PyTorch Docs）や TensorFlow(TensorFlow Docs）のようなフレームワークは、様々な活性化関数の簡単な実装を提供し、Ultralytics HUBのようなプラットフォーム内での実験を容易にします。