시그모이드

시그모이드 함수는 머신 러닝(ML) 및 딥 러닝(DL)에서 사용되는 널리 사용되는 활성화 함수입니다. 이는 특징적인 "S"자 모양 또는 시그모이드 곡선을 생성하는 수학 함수입니다. 주요 목적은 임의의 실수 값을 취하여 0과 1 사이의 범위로 "압축"하는 것입니다. 이 출력은 종종 확률로 해석되므로 시그모이드는 결과의 가능성을 예측하는 것이 목표인 모델에서 특히 유용합니다. 신경망(NN)에 비선형성을 도입함으로써 모델은 단순한 선형 변환으로는 불가능한 데이터에서 복잡한 패턴을 학습할 수 있습니다.

역할 및 응용

입력을 확률과 유사한 출력으로 매핑하는 시그모이드 함수의 기능은 특정 유형의 작업에서 핵심적인 역할을 합니다. 최신 심층 신경망의 숨겨진 레이어에서는 덜 일반적이지만 특정 시나리오의 출력 레이어에서는 여전히 표준적인 선택입니다.

주요 응용 분야

• 이진 분류: 이진 분류 문제에서 목표는 입력을 두 클래스 중 하나로 분류하는 것입니다(예: 스팸 또는 스팸 아님, 질병 존재 또는 부재). 출력 레이어의 시그모이드 함수는 입력이 긍정 클래스에 속할 확률을 나타내는 0과 1 사이의 단일 값을 제공합니다. 예를 들어, 의료 영상 분석 모델은 시그모이드를 사용하여 종양이 악성일 확률이 90%임을 나타내는 0.9의 확률을 출력할 수 있습니다.
• 다중 레이블 분류: 입력이 하나의 클래스에만 속하는 다중 클래스 분류와 달리, 다중 레이블 작업에서는 입력이 여러 레이블과 동시에 연결될 수 있습니다. 예를 들어 객체 감지 모델인 Ultralytics YOLO는 이미지를 분석하여 "자동차", "보행자" 및 "신호등"을 한 번에 식별할 수 있습니다. 이 경우 Sigmoid 함수가 각 출력 뉴런에 독립적으로 적용되어 가능한 각 레이블에 대한 확률을 제공합니다. 객체 감지의 발전에 대해 자세히 알아볼 수 있습니다.
• RNN의 게이팅 메커니즘: 시그모이드 함수는 순환 신경망(RNN)의 게이팅 메커니즘, 예: LSTM(Long Short-Term Memory) 및 GRU(Gated Recurrent Units)의 핵심 구성 요소입니다. 이러한 게이트는 시그모이드를 사용하여 정보 흐름을 제어하고 각 단계에서 유지하거나 삭제할 데이터를 결정합니다. 이 메커니즘은 LSTM 이해에 대한 자세한 블로그 게시물에서 설명한 대로 순차 데이터에서 장기 종속성을 학습하는 데 매우 중요합니다.

다른 활성화 함수와의 비교

Sigmoid 함수를 다른 활성화 함수와 구별하여 언제 사용해야 하는지 이해하는 것이 중요합니다.

• Softmax: Softmax 함수는 일반적으로 각 입력이 여러 가능한 클래스 중 정확히 하나에 속하는 다중 클래스 분류 문제에 사용됩니다. 각 출력에 대한 독립적인 확률을 계산하는 Sigmoid와 달리 Softmax는 합이 1이 되는 모든 클래스에 걸쳐 확률 분포를 계산합니다. 예를 들어 MNIST 데이터 세트에서 손으로 쓴 숫자를 분류하는 모델은 Softmax를 사용하여 0에서 9까지의 각 숫자에 단일 확률을 할당합니다.
• ReLU(Rectified Linear Unit): ReLU는 딥 네트워크의 숨겨진 레이어에 대한 사실상의 표준이 되었습니다. 계산적으로 더 효율적이며 기울기 소실 문제(기울기가 역전파 중에 매우 작아져 학습 프로세스가 느려지거나 중단되는 Sigmoid의 심각한 문제)를 완화하는 데 도움이 됩니다. 이 DeepLearning.AI 문서에서 기울기 문제에 대해 자세히 알아볼 수 있습니다.
• SiLU (Sigmoid Linear Unit): Swish라고도 하는 SiLU는 Sigmoid에서 파생된 최신 활성화 함수입니다. 고급 컴퓨터 비전 아키텍처를 포함하여 더 깊은 모델에서 ReLU보다 성능이 더 좋습니다. Ultralytics 모델은 종종 속도와 정확도의 균형을 개선하기 위해 고급 활성화 함수를 활용합니다.

최신 사용법 및 가용성

오늘날 숨겨진 레이어에서는 덜 일반적이지만, Sigmoid는 이진 및 다중 레이블 분류 작업에서 출력 레이어의 표준 선택으로 남아 있습니다. 또한 순차 데이터를 처리하는 복잡한 아키텍처 내에서 게이팅 메커니즘의 핵심 구성 요소를 형성합니다.

시그모이드는 모든 주요 환경에서 즉시 사용할 수 있습니다. 딥러닝 프레임워크, 다음을 포함합니다. PyTorch (으)로 torch.sigmoid)와(과) TensorFlow (으)로 tf.keras.activations.sigmoid). 다음과 같은 플랫폼 Ultralytics HUB 다양한 활성화 함수를 활용하는 모델을 지원하여 사용자가 다음을 수행할 수 있습니다. 훈련 및 배포 정교한 컴퓨터 비전 솔루션.