Activation Function

ReLU, Sigmoid, SiLU와 같은 활성화 함수가 딥러닝을 가능하게 하는 원리를 살펴보십시오. Ultralytics YOLO26이 이를 활용해 어떻게 복잡한 시각 패턴을 파악하는지 알아보십시오.

활성화 함수는 입력 세트가 주어졌을 때 뉴런의 출력을 결정하는 신경망 (NN)의 핵심 구성 요소입니다. 종종 "문지기"로 묘사되며, 뉴런이 활성화되어 네트워크의 예측에 기여할지 아니면 비활성화될지를 결정합니다. 이러한 수학적 연산이 없다면 신경망은 깊이에 관계없이 복잡한 패턴을 파악할 수 없는 단순한 선형 회귀 모델처럼 작동할 것입니다. 비선형성을 도입함으로써 활성화 함수는 딥러닝 (DL) 모델이 손글씨 숫자의 곡선이나 의료 영상 분석의 미묘한 이상 징후와 같은 복잡한 구조를 학습할 수 있도록 합니다.

핵심 기능 및 일반적인 유형#

활성화 함수의 주된 역할은 입력 신호를 원하는 출력 범위로 매핑하고 네트워크에 의해 생성된 피처 맵에 복잡성을 도입하는 것입니다. 개발자는 레이어의 위치와 모델 학습 프로세스의 목표에 따라 특정 함수를 선택합니다.

ReLU (Rectified Linear Unit): 현재 은닉층에 가장 널리 사용되는 함수입니다. 입력값이 양수이면 그대로 출력하고, 그렇지 않으면 0을 출력합니다. 이러한 단순성 덕분에 연산이 빨라지고, 심층 아키텍처를 학습할 때 자주 발생하는 문제인 기울기 소실 문제를 완화하는 데 도움이 됩니다.
Sigmoid: 이 함수는 입력값을 0과 1 사이의 범위로 "압축"합니다. 출력값을 확률 점수로 해석할 수 있기 때문에 이메일이 스팸인지 판별하는 등의 이진 분류 작업의 마지막 레이어에서 자주 사용됩니다.
Softmax: 다중 클래스 문제에 필수적인 Softmax는 숫자의 벡터를 모든 값의 합이 1인 확률 분포로 변환합니다. 이는 ImageNet 데이터셋에서 볼 수 있는 것과 같은 이미지 분류 챌린지에서 표준으로 사용됩니다.
SiLU (Sigmoid Linear Unit): YOLO26과 같은 최첨단 아키텍처에서 자주 사용되는 부드럽고 단조증가하지 않는 함수입니다. SiLU는 매우 깊은 모델에서 ReLU보다 더 나은 기울기 흐름을 허용하여 정확도 향상에 기여합니다.

AI의 실제 응용 사례#

활성화 함수의 선택은 일상적인 작업에 배포된 AI 시스템의 성능과 추론 지연 시간에 직접적인 영향을 미칩니다.

소매 객체 검출: 자동 결제 시스템에서 객체 검출 모델은 컨베이어 벨트 위의 상품을 식별합니다. 은닉층은 ReLU 또는 SiLU와 같은 효율적인 함수를 사용하여 시각적 특징을 빠르게 처리합니다. 출력층은 클래스(예: "사과", "시리얼")와 바운딩 박스 좌표를 결정하여 시스템이 자동으로 계산을 수행할 수 있도록 합니다. 이는 속도와 고객 만족도를 보장하기 위해 소매 분야의 AI에 매우 중요합니다.
감성 분석: 자연어 처리 (NLP)에서 모델은 고객 리뷰를 분석하여 만족도를 측정합니다. 네트워크는 텍스트 데이터를 처리하고 마지막 레이어에서 Sigmoid 함수를 사용하여 0(부정)과 1(긍정) 사이의 감성 점수를 출력함으로써 기업이 머신러닝 (ML)을 활용해 대규모로 고객 피드백을 이해할 수 있도록 돕습니다.

구현 예시#

PyTorch 라이브러리를 사용하면 다양한 활성화 함수가 데이터를 어떻게 변환하는지 시각화할 수 있습니다. 다음 코드 스니펫은 ReLU(음수를 0으로 만듦)와 Sigmoid(값을 압축함)의 차이를 보여줍니다.

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])