Activation Function

ReLU, Sigmoid, SiLU와 같은 활성화 함수가 딥러닝을 가능하게 하는 원리를 살펴보십시오. Ultralytics YOLO26이 이를 활용해 어떻게 복잡한 시각 패턴을 파악하는지 알아보십시오.

활성화 함수는 입력 값에 따라 뉴런의 출력을 결정하는 신경망(NN)의 핵심 구성 요소입니다. 종종 "문지기(gatekeeper)"라고 묘사되는 이 함수는 뉴런의 활성화 여부, 즉 네트워크의 예측에 기여할지 여부를 결정합니다. 이러한 수학적 연산이 없다면 신경망은 단순한 선형 회귀 모델처럼 동작하여, 깊이와 상관없이 복잡한 패턴을 파악할 수 없게 됩니다. 비선형성을 도입함으로써 활성화 함수는 딥러닝(DL) 모델이 손글씨 숫자의 곡선이나 의료 영상 분석에서의 미세한 이상 징후와 같은 복잡한 구조를 학습할 수 있게 합니다.

Link to this section핵심 기능 및 일반적인 유형#

활성화 함수의 주요 역할은 입력 신호를 원하는 출력 범위로 매핑하고 네트워크에 의해 생성된 특성 맵(feature maps)에 복잡성을 도입하는 것입니다. 개발자는 레이어의 위치와 모델 학습 과정의 목표에 따라 특정 함수를 선택합니다.

ReLU (Rectified Linear Unit): 현재 은닉층에 가장 널리 사용되는 함수입니다. 입력값이 양수이면 그대로 출력하고, 그렇지 않으면 0을 출력합니다. 이러한 단순함은 연산을 가속화하고 딥러닝 아키텍처를 학습할 때 자주 발생하는 문제인 기울기 소실(vanishing gradient) 문제를 완화하는 데 도움을 줍니다.
Sigmoid: 이 함수는 입력 값을 0에서 1 사이의 범위로 "압축"합니다. 이메일이 스팸인지 여부를 판단하는 것과 같은 이진 분류 작업의 마지막 레이어에서 자주 사용되는데, 이는 출력을 확률 점수로 해석할 수 있기 때문입니다.
Softmax: Essential for multi-class problems, Softmax converts a vector of numbers into a probability distribution where all values sum to one. This is standard in image classification challenges like those found in the ImageNet dataset.
SiLU (Sigmoid Linear Unit): YOLO26과 같은 최신 아키텍처에서 자주 사용되는 부드럽고 비단조적인 함수입니다. SiLU는 매우 깊은 모델에서 ReLU보다 더 나은 기울기 흐름을 허용하여 정확도(accuracy) 향상에 기여합니다.

Link to this sectionAI의 실제 응용 사례#

활성화 함수의 선택은 일상적인 운영에 배포되는 AI 시스템의 성능 및 추론 지연 시간(inference latency)에 직접적인 영향을 미칩니다.

소매 객체 탐지: 자동 결제 시스템에서 객체 탐지(object detection) 모델은 컨베이어 벨트 위의 제품을 식별합니다. 은닉층은 ReLU나 SiLU와 같은 효율적인 함수를 사용하여 시각적 특징을 빠르게 처리합니다. 출력층은 클래스(예: "사과", "시리얼")와 경계 상자(bounding box) 좌표를 결정하여 시스템이 자동으로 계산을 수행하도록 합니다. 이는 속도와 고객 만족을 보장하기 위해 AI in retail 분야에서 매우 중요합니다.
감성 분석: 자연어 처리(NLP)에서 모델은 고객 리뷰를 분석하여 만족도를 측정합니다. 네트워크는 텍스트 데이터를 처리하고 마지막 레이어에서 Sigmoid 함수를 사용하여 0(부정)에서 1(긍정) 사이의 감성 점수를 출력할 수 있으며, 이는 기업이 머신러닝(ML)을 사용하여 대규모로 고객 피드백을 이해하는 데 도움을 줍니다.

Link to this section구현 예시#

PyTorch 라이브러리를 사용하면 서로 다른 활성화 함수가 데이터를 어떻게 변환하는지 시각화할 수 있습니다. 다음 코드 스니펫은 ReLU(음수를 0으로 만듦)와 Sigmoid(값을 압축함)의 차이를 보여줍니다.

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])

Link to this section관련 개념 구분#

학습 파이프라인의 다른 수학적 구성 요소와 활성화 함수를 구분하는 것이 중요합니다.

활성화 함수 vs. 손실 함수(Loss Function): 활성화 함수는 순전파(forward pass) 중에 작동하여 뉴런의 출력을 형성합니다. Mean Squared Error와 같은 손실 함수는 순전파가 끝날 때 예측값과 실제 타겟 사이의 오차를 계산합니다.
활성화 함수 vs. 최적화 알고리즘(Optimization Algorithm): 활성화 함수가 출력 구조를 정의하는 반면, 옵티마이저(예: Adam 또는 확률적 경사 하강법(Stochastic Gradient Descent))는 손실 함수에 의해 계산된 오차를 최소화하기 위해 모델 가중치(model weights)를 업데이트하는 방법을 결정합니다.
활성화 함수 vs. 전이 학습(Transfer Learning): 활성화 함수는 네트워크 레이어 내에서 고정된 수학적 연산입니다. 전이 학습은 사전 학습된 모델을 새로운 작업에 맞게 조정하는 기술로, 종종 원래 아키텍처의 활성화 함수를 유지하면서 Ultralytics Platform을 통해 사용자 지정 데이터셋에서 가중치를 미세 조정(fine-tuning)합니다.