Sigmoid

시그모이드 함수는 머신 러닝 (ML) 및 딥 러닝 (DL) 분야에서 광범위하게 사용되는 기본적인 수학 구성 요소입니다. 흔히 "압축 함수"라고도 불리는 이 함수는 모든 실수값을 입력으로 받아 0과 1 사이의 값으로 매핑합니다. 이러한 특징적인 "S"자 곡선 덕분에 원시 모델 출력을 해석 가능한 확률로 변환하는 데 매우 유용합니다. 신경망 (NN)에서는 시그모이드 함수가 활성화 함수로 작동하여 비선형성을 도입하고, 모델이 단순한 선형 관계를 넘어 복잡한 패턴을 학습할 수 있도록 합니다. 딥 네트워크의 은닉층에서는 다른 함수로 대부분 대체되었지만, 이진 분류 작업의 출력층에서는 여전히 표준적인 선택입니다.

AI에서 시그모이드의 작동 원리#

시그모이드 함수는 본질적으로 입력 데이터를 로짓이라고도 하는 정규화된 범위로 변환합니다. 이러한 변환은 사건이 발생할 가능성을 예측하는 것이 목표인 작업에서 매우 중요합니다. 출력값을 0과 1 사이로 제한함으로써 이 함수는 명확한 확률 점수를 제공합니다.

• 로지스틱 회귀: 전통적인 통계 모델링에서 시그모이드는 로지스틱 회귀의 핵심 역할을 합니다. 이를 통해 데이터 과학자는 고객이 이탈할지 또는 유지될지와 같은 이진 결과의 확률을 추정할 수 있습니다.
• 이진 분류: 두 클래스를 구분하도록 설계된 신경망(예: "고양이"와 "개")에서는 최종 계층에 시그모이드 활성화 함수를 사용하는 경우가 많습니다. 출력값이 임계값(일반적으로 0.5)보다 크면 모델은 양성 클래스로 예측합니다.
• 멀티 라벨 분류: 클래스가 상호 배타적인 멀티 클래스 문제와 달리, 멀티 라벨 작업에서는 이미지나 텍스트가 여러 범주에 동시에 속할 수 있습니다. 이때 시그모이드는 각 출력 노드에 독립적으로 적용되므로, 모델이 같은 장면에서 "자동차"와 "사람"을 서로 충돌하지 않고 모두 감지할 수 있습니다.

다른 활성화 함수와의 주요 차이점#

시그모이드는 한때 모든 계층에서 기본값으로 사용되었지만, 연구자들은 그래디언트 소실 문제와 같은 한계를 발견했습니다. 이 문제에서는 깊은 네트워크에서 그래디언트가 가중치를 효과적으로 업데이트하기에 너무 작아집니다. 이로 인해 은닉층에는 대체 함수가 채택되었습니다.

• 시그모이드와 ReLU (정류 선형 유닛) 비교: ReLU는 계산 속도가 더 빠르며, 입력값이 양수이면 입력값을 그대로 출력하고 그렇지 않으면 0을 출력하여 그래디언트 소실을 방지합니다. ReLU는 YOLO26과 같은 최신 아키텍처의 은닉층에서 선호되는 반면, 시그모이드는 특정 작업의 최종 출력층에 사용됩니다.
• 시그모이드와 Softmax 비교: 두 함수 모두 출력을 0~1 범위로 매핑하지만, 목적은 서로 다릅니다. 시그모이드는 각 출력을 독립적으로 처리하므로 이진 또는 멀티 라벨 작업에 적합합니다. Softmax는 모든 출력의 합이 1이 되도록 하여, 하나의 클래스만 정답인 멀티 클래스 분류에 사용되는 확률 분포를 생성합니다.

실제 적용 사례#

시그모이드 함수는 확률 추정이 필요한 다양한 산업 분야에서 활용됩니다.

1. 의료 진단: 의료 이미지 분석에 사용되는 AI 모델은 X-ray 또는 MRI 스캔에서 질병이 존재할 확률을 예측하기 위해 시그모이드 출력을 사용하는 경우가 많습니다. 예를 들어 모델이 0.85를 출력하면 종양일 가능성이 85%라는 의미이며, 의사의 조기 발견을 지원할 수 있습니다.

2. 스팸 감지: 이메일 필터링 시스템은 자연어 처리 (NLP) 모델과 시그모이드 분류기를 사용하여 수신 메시지가 "스팸"인지 "스팸 아님"인지 판단합니다. 모델은 키워드와 메타데이터를 분석하고 점수를 출력하여 이메일이 받은편지함에 도착할지 정크 폴더로 이동할지를 결정합니다.

실제 구현#

딥 러닝 모델 구축에 널리 사용되는 라이브러리인 PyTorch를 사용하여 시그모이드가 데이터를 변환하는 방식을 확인할 수 있습니다. 이 간단한 예제는 다양한 입력값 범위에 대한 "압축" 효과를 보여줍니다.

import torch
import torch.nn as nn

# Create a Sigmoid layer
sigmoid = nn.Sigmoid()

# Define input data (logits) ranging from negative to positive
input_data = torch.tensor([-5.0, -1.0, 0.0, 1.0, 5.0])

# Apply Sigmoid to squash values between 0 and 1
output = sigmoid(input_data)

print(f"Input: {input_data}")
print(f"Output: {output}")
# Output values near 0 for negative inputs, 0.5 for 0, and near 1 for positive inputs

저수준 코드를 작성하지 않고 이러한 개념을 활용하는 모델을 학습하려는 경우, Ultralytics Platform은 데이터셋을 관리하고 YOLO26과 같은 최첨단 모델을 학습할 수 있는 직관적인 인터페이스를 제공합니다. 아키텍처의 복잡한 부분을 자동으로 처리하므로 사용자는 특정 컴퓨터 비전 애플리케이션을 위한 고품질 학습 데이터를 수집하는 데 집중할 수 있습니다.