シグモイド

シグモイド関数は、機械学習（ML）や深層学習（DL）でよく使われる活性化関数だ。シグモイド関数は、特徴的な "S "字型、つまりシグモイド曲線を生成する数学関数である。この出力は確率として解釈されることが多く、シグモイドは結果の可能性を予測することを目的としたモデルで特に有用です。ニューラルネットワーク（NN）に非線形性を導入することで、単純な線形変換では不可能な複雑なパターンをデータから学習することができる。

役割と応用

シグモイド関数は、入力を確率のような出力にマッピングする能力があるため、ある種のタスクの要となる。最新のディープ・ニューラル・ネットワークの隠れ層ではあまり使われなくなったが、特定のシナリオでは出力層の標準的な選択肢であり続けている。

主な用途

• バイナリ分類：バイナリ分類問題では、入力を2つのクラス（例えば、スパムかスパムでないか、病気があるかないか）のいずれかに分類することが目標となる。出力層のシグモイド関数は、入力が正のクラスに属する確率を表す0と1の間の1つの値を提供する。例えば、医療画像解析モデルはSigmoidを使って0.9の確率を出力し、腫瘍が悪性である確率が90%であることを示すかもしれない。
• マルチラベル分類：入力が1つのクラスにしか属さないマルチクラス分類とは異なり、マルチラベルタスクでは、入力を複数のラベルに同時に関連付けることができる。例えば、Ultralytics YOLOのような物体検出モデルは、画像を分析し、「車」、「歩行者」、「信号機」を一度に識別するかもしれない。この場合、シグモイド関数が各出力ニューロンに独立に適用され、可能性のある各ラベルの確率を与えます。物体検出の進化については、こちらをご覧ください。
• RNNのゲート機構シグモイド関数は、Long Short-Term Memory（LSTM）やGated Recurrent Units（GRU）などのリカレント・ニューラル・ネットワーク（RNN）のゲート機構の中核をなす要素である。これらのゲートは、シグモイドを使って情報の流れを制御し、各ステップでどのデータを残すか捨てるかを決定する。このメカニズムは、LSTMを理解するための詳細なブログ記事で説明されているように、シーケンシャルなデータの長期的な依存関係を学習するのに非常に重要です。

他の活性化関数との比較

シグモイド関数をいつ使うかを理解するためには、他の活性化関数と区別することが重要です。

• ソフトマックス:ソフトマックス関数は、各入力が複数のクラスのうちの1つに属するような多クラス分類問題によく使われる。各出力に対して独立した確率を計算するシグモイドとは異なり、ソフトマックスはすべてのクラスにわたって合計が1になる確率分布を計算します。例えば、MNISTデータセットから手書きの数字を分類するモデルは、ソフトマックスを使用して0から9までの各桁に1つの確率を割り当てる。
• ReLU（整流リニアユニット）:ReLUはディープネットワークの隠れ層のデファクトスタンダードとなっている。ReLUは計算効率が高く、勾配消失問題（バックプロパゲーション中に勾配が極端に小さくなり、学習プロセスが遅くなったり停止したりするシグモイドの重大な問題）を軽減するのに役立ちます。勾配の課題については、こちらのDeepLearning.AIの記事をご覧ください。
• SiLU（シグモイド・リニア・ユニット）:Swishとしても知られるSiLUは、シグモイドから派生したより現代的な活性化関数です。高度なコンピュータビジョンアーキテクチャなど、より深いモデルではReLUよりも優れた性能を発揮することがよくあります。Ultralyticsモデルは、速度と精度のより良いバランスを達成するために、しばしば高度な活性化関数を活用します。

現代の使用法と利用可能性

現在では隠れ層ではあまり使われなくなったが、シグモイドはバイナリーやマルチラベルの分類タスクにおける出力層の標準的な選択肢であり続けている。また、シーケンシャルなデータを扱う複雑なアーキテクチャの中で、ゲーティング・メカニズムの核となるコンポーネントを形成している。

シグモイドは、すべての主要メーカーで入手可能である。 深層学習フレームワークを含む。 パイトーチ (として torch.sigmoidそして テンソルフロー (として tf.keras.activations.sigmoid).プラットフォーム ウルトラリティクス・ハブ 様々な活性化関数を利用したモデルをサポートし、ユーザーは以下のことができる。 電車 そして 配備 洗練されたコンピュータ・ビジョン・ソリューション