시그모이드

시그모이드 함수는 현장에서 널리 사용되는 기본적인 활성화 함수이며 머신러닝(ML) 및 딥러닝(DL) 분야에서 사용되는 기본적인 활성화 함수입니다. 수학적으로 다음과 같이 표현되는 로 표현되며, 이 함수는 다음과 같은 특징이 있습니다. 시그모이드 곡선으로 알려진 뚜렷한 "S"자형 곡선이 특징입니다. 시그모이드의 주요 기능은 실수값 입력값을 실수값 입력 숫자를 0과 1 범위 내의 값으로 변환하는 것입니다. 이 스쿼싱 속성으로 인해 매우 예측해야 하는 모델에 유용합니다. 확률을 예측해야 하는 모델에 매우 유용합니다. 특정 이벤트가 발생할 가능성으로 직접 해석할 수 있기 때문입니다. 비선형성을 신경망에 도입하면 신경망(NN)에 비선형성을 도입함으로써, 시그모이드 함수는 단순한 선형 회귀를 넘어선 복잡한 데이터 패턴을 학습할 수 있습니다. 선형 회귀.

인공 지능의 핵심 애플리케이션

시그모이드 함수는 특정 네트워크 아키텍처와 작업에서 중요한 역할을 하며, 특히 출력을 독립적인 확률로 해석해야 하는 경우 더욱 그렇습니다. 을 독립적인 확률로 해석해야 하는 경우 특히 그렇습니다. 딥 네트워크의 숨겨진 레이어에서는 최신 함수가 이를 대체하고 있지만 네트워크의 숨겨진 레이어에서 새로운 함수로 대체되었지만, 여전히 여러 주요 애플리케이션의 출력 레이어에서 표준으로 사용되고 있습니다.

• 이진 분류: 다음과 같이 입력을 상호 배타적인 두 가지 클래스 중 하나로 분류하는 것이 목표인 작업에서는 시그모이드 함수가 이상적입니다. 이메일이 '스팸'인지 '스팸 아님'인지 판단하는 것과 같은 작업의 경우 시그모이드 함수는 최종 레이어에 이상적인 선택입니다. 시그모이드 함수는 0과 1 사이의 단일 스칼라 값을 출력하여 양수 클래스의 확률을 나타냅니다. 예를 들어 의료 이미지 분석에서 모델은 0.95를 출력하여 감지된 이상 징후가 악성일 확률이 95%임을 나타낼 수 있습니다.
• 다중 라벨 분류: 입력이 하나의 카테고리에만 속하는 다중 클래스 작업과 달리 다중 레이블 작업을 사용하면 입력에 여러 개의 태그를 동시에 여러 개의 태그를 동시에 가질 수 있습니다. 예를 들어 개체 감지 모델과 같은 Ultralytics YOLO11 와 같은 객체 detect 모델은 "사람", "자전거", "헬멧"을 하나의 이미지에서 감지해야 할 수 있습니다. 여기서 시그모이드는 각 출력 노드에 를 각 출력 노드에 독립적으로 적용하여 모델이 각 클래스의 존재 유무를 예측할 수 있도록 합니다. 확률을 강제로 1로 합산하지 않고도 각 클래스의 유무를 예측할 수 있습니다.
• 순환 신경망(RNN) 게이팅: 시그모이드는 다음과 같은 고급 시퀀스 모델의 게이팅 메커니즘에서 중요한 구성 요소입니다. 장단기 메모리(LSTM) 네트워크와 같은 고급 시퀀스 모델의 게이팅 메커니즘의 중요한 구성 요소입니다. 이러한 아키텍처에서 '잊어버림 게이트'와 '입력 게이트'는 시그모이드를 사용해 0과 값을 0(완전히 잊음/차단)과 1(완전히 기억/통과) 사이의 값으로 출력하여 시간이 지남에 따라 정보의 흐름을 효과적으로 조절합니다. 이 메커니즘은 고전적인 연구에서 자세히 설명되어 있습니다.

관련 활성화 기능과의 비교

신경 아키텍처를 효과적으로 설계하려면 시그모이드와 다른 활성화 기능을 구분하는 것이 중요합니다. 각각 다른 용도로 사용되기 때문입니다.

• 소프트맥스: 두 함수 모두 확률과 관련이 있지만, 소프트맥스는 클래스가 상호 배타적인 다중 클래스 분류에 사용됩니다. 상호 배타적입니다. 소프트맥스는 모든 클래스의 출력이 정확히 1로 합산되도록 하여 확률 분포를 생성합니다. 이와 대조적으로, 시그모이드는 각 출력을 독립적으로 처리하므로 이진 또는 다중 레이블 작업에 적합합니다.
• ReLU(정류 선형 단위): ReLU는 최신 딥 네트워크에서 히든 레이어에 선호되는 활성화 기능입니다. 시그모이드와 달리 0과 1에서 포화 상태가 되어 소실 그라데이션 문제를 일으키는 역전파 중에 사라지는 그라데이션 문제를 일으키는 시그모이드와 달리, ReLU는 양의 입력에 대해 더 자유롭게 보다 자유롭게 흐르도록 합니다. 이는 다음에서 언급된 바와 같이 훈련과 컨버전스를 가속화합니다. 스탠포드 CS231n 강의 노트.
• 탄 (쌍곡선 탄젠트): Tanh 함수는 시그모이드와 유사하지만 입력을 -1에서 1 범위로 매핑합니다. 출력은 0 중심이기 때문에 영 중심이기 때문에 구형 아키텍처와 특정 RNN의 히든 레이어에서 시그모이드보다 Tanh가 선호되는 경우가 많습니다. 후속 레이어의 데이터 센터링에 도움이 되기 때문입니다.

구현 예시

다음 Python 스니펫은 다음을 사용하여 시그모이드 함수를 적용하는 방법을 보여줍니다. PyTorch. 이것은 일반적인 연산입니다. 을 사용하여 원시 모델 출력(로그)을 해석 가능한 확률로 변환하는 데 사용됩니다.

import torch
import torch.nn as nn

# Raw outputs (logits) from a model for a binary or multi-label task
logits = torch.tensor([0.1, -2.5, 4.0])

# Apply the Sigmoid activation function
sigmoid = nn.Sigmoid()
probabilities = sigmoid(logits)

# Output values are squashed between 0 and 1
print(probabilities)
# Output: tensor([0.5250, 0.0759, 0.9820])

효과적인 AI 시스템을 구축하려면 시그모이드의 사용 시기를 이해하는 것이 중요합니다. 그라데이션 포화로 인해 깊게 숨겨진 레이어에는 한계가 있지만, 독립적인 확률을 모델링할 수 있는 능력으로 인해 손실 함수 계산 및 최종 출력 레이어 다양한 작업에 적합합니다.