SiLU（シグモイド・リニア・ユニット）

シグモイド線形ユニット（通称SiLU）は、ニューラルネットワークで使用される活性化関数で、その効率と性能で人気を博している。SiLUは シグモイド関数と整流線形ユニット（ReLU）関数の特性をエレガントに組み合わせたセルフゲート関数です。SiLUは論文"Searching for Activation Functions"で紹介され、当初はSwishと呼ばれていた。平滑性や非単調性といった独自の特性により、ディープモデルではReLUのような従来の活性化関数を上回ることが多く、モデル学習時の精度向上や収束の高速化につながる。

SiLUの仕組み

SiLUは入力値にシグモイドを掛けることで定義される。この自己ゲート機構により、関数は正の入力に対して線形である状態から、大きな負の入力に対してゼロに近い状態へとスムーズに移行し、ネットワークを通る情報の流れを調整するのに役立つ。SiLUの重要な特性は非単調性であり、小さな負入力に対してゼロよりわずかに低くなってからゼロに向かって上昇することがある。この特性は、より豊かな勾配風景を作り出し、ディープアーキテクチャの学習プロセスを遅らせたり停止させたりする可能性のある消失勾配問題を防ぐことで、ニューラルネットワークの表現力を向上させると考えられている。SiLU曲線の滑らかさも大きな利点で、勾配降下のような最適化アルゴリズムで滑らかな勾配を保証します。

SiLUと他の活性化機能の比較

SiLUは、一般的に使用されている他の活性化関数と比較していくつかの利点があり、最新のディープラーニング（DL）アーキテクチャにとって魅力的な選択肢となっている。

• ReLU（整流線形単位）：ReLUはゼロで急激に変化し、すべての負の入力に対して一定のゼロ勾配を持つが、SiLUは滑らかで連続的な関数である。この滑らかさはバックプロパゲーションの過程で役立ちます。さらにSiLUは、ニューロンが常に負の入力を受けると永久に活動しなくなる「死にゆくReLU」問題を回避する。
• リーキーReLU：Leaky ReLUもまた、負の入力に対して小さく非ゼロの勾配を許容することによって、瀕死のニューロンの問題に対処しているが、SiLUの滑らかで非単調な曲線は、非常に深いネットワークにおいて、より優れた汎化と最適化につながることがある。
• シグモイドシグモイド関数はSiLUのコア・コンポーネントだが、その用途は大きく異なる。Sigmoidは通常、2値分類タスクの出力層で使用されるか、RNNのゲーティングメカニズムとして使用される。対照的に、SiLUは隠れ層用に設計されており、畳み込みニューラルネットワーク（CNN）のパフォーマンスを向上させることが示されている。
• GELU (Gaussian Error Linear Unit)：SiLUはGELUとよく比較されます。GELUはもう一つの滑らかな活性化関数で、特にTransformerモデルにおいて優れた性能を示しています。どちらの関数も似たような形状と性能特性を持っており、どちらを選択するかは、ハイパーパラメータのチューニングによる経験的な結果に帰着することが多い。

AIと機械学習における応用

効率と性能のバランスにより、SiLUはさまざまな最先端モデルで人気の高い選択肢となっている。

• 物体検出： Ultralytics YOLOのバージョンを含む高度な物体検出モデルは、隠れ層にSiLUを採用しています。例えば、リアルタイムの検出に依存する自律走行車のようなアプリケーションでは、SiLUはモデルがセンサーデータから複雑な特徴をより効果的に学習し、歩行者、交通標識、その他の車両の検出精度を向上させるのに役立ちます。この特徴学習の向上は、特にCOCOのような大規模データセットで学習する場合、安全性と信頼性のために非常に重要です。
• 画像の分類SiLUは、EfficientNetファミリーのような効率的で強力な分類モデルの重要なコンポーネントです。医療画像解析のような分野では、SiLUの勾配フローを保持する能力は、モデルが微妙なテクスチャやパターンを学習するのに役立ちます。これは、MRIスキャンから腫瘍を分類したり、胸部X線から病気を特定するような、高精度が最も重要なタスクに有益です。

実施

SiLUは主要なディープラーニングフレームワークで容易に利用できるため、新しいモデルや既存のモデルに簡単に組み込むことができる。

• PyTorch： として実施された。 torch.nn.SiLU公式な SiLU 用 PyTorch ドキュメント 利用できる。
• TensorFlow： Available as tf.keras.activations.swish または tf.keras.activations.siluに記録されている。 SiLUのTensorFlowドキュメント.

Ultralytics HUBのようなプラットフォームは、モデルのトレーニングをサポートし、SiLUのような高度なコンポーネントを利用したモデルの様々な展開オプションを探索する。DeepLearning.AIのような組織による継続的な研究とリソースは、実務家がこのような機能を効果的に活用するのに役立ちます。活性化関数の選択は、効果的なニューラルネットワークアーキテクチャを設計する上で依然として重要な部分であり、SiLUはこの分野における重要な前進を意味します。