ReLU（Rectified Linear Unit：ランプ関数）

一般にReLUとして知られるRectified Linear Unit（整流線形ユニット）は、基本的な活性化関数である。 ディープラーニング（DL）分野に革命をもたらした ディープラーニング（DL）の分野に革命をもたらした基本的な活性化関数である。ニューラルネットワーク ニューラルネットワーク（NN）内の重要なコンポーネントとして機能する。 主な目的は、モデルに非線形性を導入し、システムが複雑なパターンとデータ内の関係を学習できるようにすることだ。 データ内の関係を学習できるようにする。このような非線形関数がなければ、ニューラルネットワークは単純な線形回帰モデルのように振る舞うことになる。 を扱うことができない。 現代の 人工知能ReLUは は、その数学的な単純さと計算効率の高さで高く評価され、多くの最先端アーキテクチャの隠れ層のデフォルトの選択肢となっている。 ReLUは数学的にシンプルで計算効率が高いため、多くの最先端アーキテクチャの隠れ層に採用されている。

ReLUの機能

ReLUの動作は単純で、正の値をそのまま通過させ、負の値をすべてゼロにするフィルターとして機能する。 として機能する。この区分的線形動作は、ニューロンのサブセットのみが任意の時間に活性化されるスパース・ネットワークを作り出す。 が活性化される。このスパース性は、生物学的な神経活動を模倣し、モデル学習時の計算負荷の軽減に役立つ。 モデル学習時の計算負荷を軽減する。

この機能には、旧来の代替品にはない利点がある：

• 計算効率：指数関数を含む関数とは異なり と異なり、ReLUは単純な閾値処理しか必要としない。このスピードは、大規模な のようなハードウェアで GPU.
• 消える勾配を軽減するディープネットワークはしばしば バニシング勾配問題 誤差信号が小さくなりすぎて、バックプロパゲーショ が発生する。ReLUは正の入力に対して一定の ReLUは正の入力に対して一定の勾配を維持し、より速い収束を促進する。 ImageNet 分類の論文で説明されているように、より速い収束を促進する。
• シンプルな実装：そのロジックは、以下のようなフレームワークに簡単に統合できます。 PyTorchや TensorFlowカスタム・アーキテクチャの開発を効率化する アーキテクチャの開発を効率化します。

実際のアプリケーション

ReLUは、以下のようなアプリケーションで広く使われている。 現代の視覚認識システムの基幹である畳み込みニューラルネットワーク（CNN）。

自律走行システム

自律走行車の領域では、知覚 システムは、歩行者、レーンマーカー、交通標識を識別するために、リアルタイムでビデオフィードを処理する必要があります。モデル は、画像から素早く特徴を抽出するために、隠れ層にReLU を利用する。低 ReLUが提供する推論レイテンシーの低さにより このコンセプトは、Waymoの知覚に関する研究で深く探求されている。 Waymoの知覚研究によって深く探求された概念である。

医療診断

ヘルスケアにおけるAIは、ReLUを搭載した ネットワークに大きく依存している。例えば 例えば、MRIスキャンやX線写真の異常を検出する場合、ネットワークは健康な組織と潜在的な腫瘍を区別しなければならない。 を区別しなければならない。ReLUによって導入された非線形性により、モデルは病変に関連する微妙で不規則な形 を学習することができる。これは以下のようなデータセットに応用されている。 脳腫瘍検出のようなデータセットに適用されます。 脳腫瘍検出のようなデータセットに適用されます。

ReLUと関連用語の区別

ReLUは標準的なものですが、他の活性化関数との違いを理解することが重要です。 Ultralytics 用語集を参照してください：

• シグモイド：このS字型関数は バイナリ確率には有用だが、計算量が多く、勾配が消失しやすい。 深い層では勾配が消失しやすいため、隠れ層にはReLUが好まれる。
• 漏れるReLU：直接的なバリエーション 負の入力だけを受け取ったニューロンが学習を完全に停止してしまう「死にゆくReLU」問題を解決するために考案された。 を解決するために考案された直接的なバリエーションである。Leaky ReLUは、負の入力に対して小さな、ゼロでない勾配を許容し、すべてのニューロンがアクティブであることを保証する。
• SiLU（シグモイド線形ユニット）： Swishとしても知られ、以下のような高度なモデルで使用される、より滑らかで非単調関数です。 Ultralytics YOLO11.SiLUは、ディープ・アーキテクチャーではReLUよりも高い精度を出すことが多い。 SiLUは、ディープ・アーキテクチャにおいてReLUよりも高い精度を出すことが多いが、計算コストが若干高くなる。

PythonReLUを実装する

ReLUを理解するには、実際に使ってみるのが一番簡単だ。次の例では torch デモ 負の値がゼロになる一方で、正の値は厳密に線形を保つことを実証する。

import torch
import torch.nn as nn

# Initialize the ReLU activation function
relu = nn.ReLU()

# Create a sample tensor with mixed positive and negative values
data = torch.tensor([-3.0, -1.0, 0.0, 2.0, 5.0])

# Apply ReLU: Negatives become 0, Positives stay the same
output = relu(data)

print(f"Input:  {data}")
print(f"Output: {output}")
# Output: tensor([0., 0., 0., 2., 5.])

現代建築における重要性

ReLUの採用は、ディープ・ニューラル・ネットワークのトレーニングの実現可能性に転機をもたらした。効率的な 勾配フローを可能にし、計算オーバヘッドを削減することで、ResNetや広く使われている検出器のような、より深いモデルへの道を開いた。 ResNetや広く使用されている検出器などのより深いモデルへの道を開いた。一方 Transformersのような新しいアーキテクチャでは、GeLUやSiLUが好まれることがある。 Transformersのような新しいアーキテクチャではGeLUやSiLUが好まれることもあるが、ReLUは依然として重要なベースラインであり、エッジAI展開のための軽量モデルで頻繁に使用されている。 エッジAIの展開に頻繁に使用されている。

これらの関数の数学的な基礎についてさらに読むには、 スタンフォード大学のCS231nのノートが素晴らしい技術的な深堀りを提供している。 を参照してください。 PyTorch ReLU ドキュメント を参照してください。