Activation Function

활성화 함수는 여러 입력이 주어졌을 때 뉴런의 출력을 결정하는 신경망 (NN)의 기본 구성 요소입니다. 흔히 "게이트키퍼"라고 설명되는 활성화 함수는 뉴런이 활성 상태, 즉 네트워크의 예측에 기여하는 상태인지 아니면 비활성 상태인지 결정합니다. 이러한 수학적 연산이 없다면 신경망은 깊이와 관계없이 복잡한 패턴을 파악할 수 없는 단순한 선형 회귀 모델처럼 동작합니다. 활성화 함수는 비선형성을 도입하여 딥러닝 (DL) 모델이 손글씨 숫자의 곡선이나 의료 영상 분석에서 나타나는 미세한 이상 징후와 같은 복잡한 구조를 학습할 수 있도록 합니다.

핵심 기능 및 일반적인 유형#

활성화 함수의 주요 역할은 입력 신호를 원하는 출력 범위에 매핑하고 네트워크가 생성하는 특징 맵에 복잡성을 도입하는 것입니다. 개발자는 레이어의 위치와 모델 학습 프로세스의 목표에 따라 특정 함수를 선택합니다.

• ReLU (정류 선형 유닛): 현재 은닉 레이어에서 가장 널리 사용되는 함수입니다. 입력값이 양수이면 입력을 그대로 출력하고, 그렇지 않으면 0을 출력합니다. 이러한 단순성은 연산을 가속하고, 딥 아키텍처를 학습할 때 자주 발생하는 문제인 기울기 소실 문제를 완화하는 데 도움이 됩니다.
• Sigmoid: 이 함수는 입력값을 0과 1 사이의 범위로 "압축"합니다. 이메일이 스팸인지 판별하는 것과 같은 이진 분류 작업에서 최종 레이어에 자주 사용되며, 출력값을 확률 점수로 해석할 수 있습니다.
• Softmax: 다중 클래스 문제에 필수적인 Softmax는 숫자 벡터를 모든 값의 합이 1이 되는 확률 분포로 변환합니다. 이는 ImageNet 데이터셋에서 수행되는 작업과 같은 이미지 분류 과제에서 표준적으로 사용됩니다.
• SiLU (시그모이드 선형 유닛): YOLO26과 같은 최신 아키텍처에서 자주 사용되는 매끄러운 비단조 함수입니다. SiLU는 매우 깊은 모델에서 ReLU보다 더 나은 기울기 흐름을 제공하여 정확도 향상에 기여합니다.

AI의 실제 활용 사례#

활성화 함수의 선택은 일상적인 운영 환경에 배포된 AI 시스템의 성능과 추론 지연 시간에 직접적인 영향을 미칩니다.

1. 소매 객체 감지: 자동 계산 시스템에서 객체 감지 모델은 컨베이어 벨트 위의 제품을 식별합니다. 은닉 레이어는 ReLU 또는 SiLU와 같은 효율적인 함수를 사용하여 시각적 특징을 빠르게 처리합니다. 출력 레이어는 클래스(예: "사과", "시리얼")와 바운딩 박스 좌표를 결정하므로 시스템이 청구 금액을 자동으로 집계할 수 있습니다. 이는 속도와 고객 만족도를 보장하는 데 중요한 소매업의 AI 활용 사례입니다.

2. 감성 분석: 자연어 처리 (NLP)에서 모델은 고객 리뷰를 분석하여 만족도를 평가합니다. 네트워크는 텍스트 데이터를 처리하고 최종 레이어에서 Sigmoid 함수를 사용하여 0(부정)과 1(긍정) 사이의 감성 점수를 출력할 수 있으며, 이를 통해 기업은 머신러닝 (ML)을 사용하여 대규모로 고객 피드백을 파악할 수 있습니다.

구현 예시#

PyTorch 라이브러리를 사용하면 다양한 활성화 함수가 데이터를 변환하는 방식을 시각화할 수 있습니다. 다음 코드 스니펫은 음수 값을 0으로 만드는 ReLU와 값을 압축하는 Sigmoid의 차이를 보여줍니다.

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])

관련 개념 구분하기#

이러한 활성화 함수를 학습 파이프라인의 다른 수학적 구성 요소와 구분하는 것이 중요합니다.

• 활성화 함수와 손실 함수의 비교: 활성화 함수는 순전파 중에 작동하여 뉴런의 출력을 조정합니다. 평균 제곱 오차와 같은 손실 함수는 순전파가 끝날 때 예측값과 실제 목표값 사이의 오차를 계산합니다.
• 활성화 함수와 최적화 알고리즘의 비교: 활성화 함수가 출력 구조를 정의하는 반면, 옵티마이저(Adam 또는 확률적 경사 하강법 등)는 손실 함수가 계산한 오차를 최소화하도록 모델 가중치를 어떻게 업데이트할지 결정합니다.
• 활성화 함수와 전이 학습의 비교: 활성화 함수는 네트워크 레이어 내에서 고정된 수학적 연산입니다. 전이 학습은 사전 학습된 모델을 새로운 작업에 맞게 조정하는 기법으로, Ultralytics Platform을 통해 사용자 정의 데이터셋에서 가중치를 파인튜닝하면서 원래 아키텍처의 활성화 함수를 유지하는 경우가 많습니다.

이러한 함수가 더 큰 시스템에 어떻게 통합되는지 자세히 알아보려면 비선형 활성화에 관한 PyTorch 문서를 살펴보거나, 특징 추출을 위해 컴퓨터 비전 작업이 이러한 함수에 어떻게 의존하는지 확인해 보세요.