Activation Function

ReLU、Sigmoid、SiLUなどの活性化関数がディープラーニングをどのように可能にするかを探ります。Ultralytics YOLO26がこれらを使用して複雑な視覚パターンを習得する方法を学びましょう。

活性化関数は、入力セットに対してニューロンの出力を決定するニューラルネットワーク (NN)の基本的な構成要素です。「ゲートキーパー」と呼ばれることも多く、ニューロンが活性化してネットワークの予測に寄与するか、非活性化するかを決定します。これらの数学的演算がなければ、ニューラルネットワークは単純な線形回帰モデルのように振る舞い、深さに関係なく複雑なパターンを把握できなくなります。非線形性を導入することで、活性化関数はディープラーニング (DL)モデルが手書き数字の曲線や医療画像解析における微妙な異常などの複雑な構造を学習できるようにします。

主な機能と一般的なタイプ#

活性化関数の主な役割は、入力信号を望ましい出力範囲にマッピングし、ネットワークによって生成される特徴マップに複雑性を導入することです。開発者は、レイヤーの位置やモデルトレーニングプロセスの目的に応じて、特定の関数を選択します。

ReLU (Rectified Linear Unit): 現在、隠れ層で最も広く使用されている関数です。正の場合は入力をそのまま出力し、そうでない場合はゼロを出力します。このシンプルさにより計算が高速化され、ディープなアーキテクチャのトレーニングで頻発する課題である勾配消失問題の軽減に役立ちます。
Sigmoid: この関数は入力値を 0 から 1 の範囲に「圧縮」します。出力は確率スコアとして解釈できるため、メールがスパムかどうかを判断するなどのバイナリ分類タスクの最終層でよく使用されます。
Softmax: マルチクラス問題に不可欠な Softmax は、数値のベクトルをすべての値の合計が 1 になる確率分布に変換します。これは、ImageNet datasetに見られるような画像分類の課題で標準的に使用されます。
SiLU (Sigmoid Linear Unit): YOLO26などの最先端のアーキテクチャでよく使用される、滑らかな非単調関数です。SiLU は非常にディープなモデルにおいて ReLU よりも優れた勾配フローを可能にし、精度の向上に寄与します。

AIにおける現実世界の応用#

活性化関数の選択は、日常業務にデプロイされる AI システムのパフォーマンスと推論レイテンシに直接影響します。

小売業における物体検出: 自動レジシステムでは、物体検出モデルがコンベアベルト上の商品を識別します。隠れ層は ReLU や SiLU などの効率的な関数を使用して視覚的特徴を迅速に処理します。出力層はクラス（例：「りんご」、「シリアル」）とバウンディングボックスの座標を決定し、システムが自動的に請求額を集計できるようにします。これは、小売業界における AI において速度と顧客満足度を確保するために非常に重要です。
感情分析: 自然言語処理 (NLP)において、モデルは顧客レビューを分析して満足度を測定します。ネットワークはテキストデータを処理し、最終層で Sigmoid 関数を使用して 0（ネガティブ）から 1（ポジティブ）の間の感情スコアを出力することで、企業が機械学習 (ML)を活用して顧客からのフィードバックを大規模に理解するのを支援します。

実装例#

PyTorchライブラリを使用すると、さまざまな活性化関数がデータをどのように変換するかを視覚化できます。次のコードスニペットは、ReLU（負の数値をゼロにする）と Sigmoid（値を圧縮する）の違いを示しています。

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])