SiLU (Sigmoid Linear Unit)

SiLU라고도 불리는 Sigmoid Linear Unit은 현대적인 딥러닝 아키텍처에서 신경망에 비선형성을 도입하기 위해 사용하는 매우 효과적인 활성화 함수입니다. SiLU는 뉴런이 모델의 각 층을 통해 정보를 처리하고 전달하는 방식을 결정함으로써, 시스템이 데이터의 복잡한 패턴을 학습할 수 있게 하며 기존의 계단 함수보다 더 매끄럽고 정교한 대안으로 기능합니다. 초기 자동 활성화 탐색 연구에서 "Swish"라는 용어로 자주 언급되는 SiLU는 최첨단 YOLO26 아키텍처를 비롯한 고성능 컴퓨터 비전 모델의 표준으로 자리 잡았습니다.

Link to this sectionSiLU의 작동 방식#

SiLU 함수는 기본적으로 입력 값을 해당 Sigmoid 변환 값과 곱하여 작동합니다. 뉴런을 "on"과 "off"로 급격하게 전환하는 단순한 임계값 함수와 달리, SiLU는 더 미세한 신호 처리를 가능하게 하는 매끄러운 곡선을 제공합니다. 이러한 수학적 구조는 모델 학습 과정에 유익한 다음과 같은 독특한 특성을 생성합니다.

• Smoothness: The curve is continuous and differentiable everywhere. This property aids optimization algorithms like gradient descent by providing a consistent landscape for adjusting model weights, which often leads to faster convergence during training.
• 비단조성(Non-Monotonicity): 표준 선형 유닛과 달리 SiLU는 비단조적(non-monotonic)입니다. 즉, 특정 음수 범위에서는 입력이 증가하더라도 출력이 감소할 수 있습니다. 이를 통해 네트워크는 복잡한 특징을 포착하고 버려질 수도 있는 음수 값을 유지할 수 있으며, 이는 심층 네트워크에서 기울기 소실 문제(vanishing gradient problem)를 방지하는 데 도움이 됩니다.
• 자기 게이팅(Self-Gating): SiLU는 스스로 게이트 역할을 하여 입력 값의 크기에 따라 입력이 통과하는 정도를 조절합니다. 이는 Long Short-Term Memory (LSTM) 네트워크에서 발견되는 게이팅 메커니즘을 모방하면서도, 합성곱 신경망(CNN)에 적합한 계산 효율적인 형태를 갖추고 있습니다.

Link to this section실제 애플리케이션 사례#

SiLU는 정밀도와 효율성이 중요한 많은 최첨단 AI 솔루션에 필수적인 요소입니다.

• 자율주행차 인식: 자율주행차의 안전이 중요한 영역에서는 인식 시스템이 보행자, 교통 표지판, 장애물을 즉시 식별해야 합니다. 백본에 SiLU를 사용하는 모델은 다양한 조명 조건에서도 높은 추론 속도를 유지하면서 정확하게 객체 탐지를 수행하여 차량이 환경에 안전하게 반응하도록 보장합니다.
• 의료 영상 진단: 의료 영상 분석 분야에서 신경망은 MRI나 CT 스캔의 미묘한 질감 차이를 구별해야 합니다. SiLU의 기울기 보존 특성은 이러한 네트워크가 초기 종양 탐지에 필요한 세밀한 세부 정보를 학습하도록 도와, 방사선 전문의가 사용하는 자동 진단 도구의 신뢰성을 크게 향상시킵니다.

Link to this section관련 개념과의 비교#

SiLU를 완전히 이해하기 위해서는 Ultralytics 용어집에 있는 다른 활성화 함수와 구분하는 것이 도움이 됩니다.

• SiLU vs. ReLU (Rectified Linear Unit): ReLU is famous for its speed and simplicity, outputting zero for all negative inputs. While efficient, this can lead to "dead neurons" that stop learning. SiLU avoids this by allowing a small, non-linear gradient to flow through negative values, which often results in better accuracy for deep architectures trained on the Ultralytics Platform.
• SiLU vs. GELU (Gaussian Error Linear Unit): 이 두 함수는 시각적 및 기능적으로 유사합니다. GELU는 BERT 및 GPT와 같은 Transformer 모델의 표준이며, SiLU는 컴퓨터 비전(CV) 작업 및 CNN 기반 객체 탐지기에 더 자주 선호됩니다.
• SiLU vs. Sigmoid: SiLU는 내부적으로 Sigmoid 함수를 사용하지만, 역할은 다릅니다. Sigmoid는 일반적으로 이진 분류를 위한 최종 출력 레이어에서 확률을 나타내는 데 사용되는 반면, SiLU는 은닉층에서 특징 추출을 촉진하는 데 사용됩니다.

Link to this section구현 예시#

PyTorch 라이브러리를 사용하여 다양한 활성화 함수가 데이터를 어떻게 변환하는지 시각화할 수 있습니다. 다음 코드 조각은 ReLU(음수 값을 0으로 처리)와 SiLU(음수 값이 부드럽게 흐르도록 허용) 간의 차이를 보여줍니다.

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_out = nn.ReLU()(data)
print(f"ReLU: {relu_out}")
# Output: tensor([0., 0., 2.])

# Apply SiLU: Smooth curve, small negative value retained
silu_out = nn.SiLU()(data)
print(f"SiLU: {silu_out}")
# Output: tensor([-0.2384,  0.0000,  1.7616])

음수 값의 정보를 유지하고 매끄러운 기울기를 제공함으로써, SiLU는 현대 신경망의 성공에 중추적인 역할을 합니다. YOLO26과 같은 아키텍처에서의 채택은 다양한 컴퓨터 비전 작업에서 최첨단 성능을 달성하는 데 있어 그 중요성을 강조합니다.