활성화 함수

활성화 함수는 신경망(NN)의 뉴런 또는 노드에 적용되는 수학적 함수입니다. 주요 역할은 가중 입력에 따라 해당 뉴런의 출력을 결정하는 것입니다. 간단히 말해서 뉴런이 '활성화'되어야 하는지 여부와 활성화되는 경우 다음 레이어로 전달될 때 신호의 강도를 결정합니다. 이 메커니즘은 네트워크에 비선형성을 도입하여 데이터에서 복잡한 패턴과 관계를 학습할 수 있도록 하는 데 매우 중요합니다. 활성화 함수가 없으면 신경망은 레이어 수에 관계없이 단순한 선형 회귀 모델처럼 작동하여 복잡한 실제 문제를 해결하는 능력이 크게 제한됩니다.

활성화 함수의 유형

활성화 함수에는 여러 유형이 있으며 각 유형마다 고유한 속성이 있습니다. 함수 선택은 모델의 성능과 훈련 효율성에 큰 영향을 미칠 수 있습니다.

• 시그모이드(Sigmoid): 이 함수는 모든 입력 값을 0과 1 사이의 범위로 매핑합니다. 역사적으로 인기가 있었지만 기울기 소실 문제로 인해 딥러닝 모델의 숨겨진 레이어에서는 덜 일반적입니다. 이 문제는 학습 속도를 늦출 수 있습니다. 이진 분류 작업을 위해 출력 레이어에서 여전히 사용됩니다.
• Tanh (쌍곡 탄젠트): Sigmoid와 유사하지만 입력을 -1과 1 사이의 범위로 매핑합니다. 출력이 0을 중심으로 하기 때문에 Sigmoid보다 모델이 더 빠르게 수렴하는 데 도움이 되는 경우가 많습니다. 순환 신경망(RNN)에서 자주 사용되었습니다. PyTorch 및 TensorFlow와 같은 프레임워크에서 구현을 찾을 수 있습니다.
• ReLU(Rectified Linear Unit): 특히 합성곱 신경망(CNN, Convolutional Neural Networks)에서 현대 신경망에서 가장 널리 사용되는 활성화 함수입니다. 입력이 양수이면 입력을 직접 출력하고, 그렇지 않으면 0을 출력합니다. 단순성과 효율성은 기울기 소실 문제를 완화하여 더 빠른 학습을 유도합니다.
• Leaky ReLU: 입력이 음수일 때 작은 0이 아닌 기울기를 허용하는 ReLU의 변형입니다. 이는 뉴런이 비활성화되어 학습을 중단할 수 있는 "dying ReLU" 문제를 해결하기 위해 설계되었습니다.
• SiLU(Sigmoid Linear Unit): Ultralytics YOLO와 같은 최첨단 모델에서 인기를 얻고 있는 부드러운 비단조 함수입니다. 선형성과 비선형성의 이점을 결합하여 깊은 모델에서 ReLU보다 성능이 뛰어난 경우가 많습니다.
• 소프트맥스(Softmax): 다중 클래스 이미지 분류 작업을 위해 신경망의 출력 레이어에서만 사용됩니다. 원시 점수(로짓)의 벡터를 확률 분포로 변환하며, 각 값은 입력이 특정 클래스에 속할 확률을 나타냅니다.

AI 및 머신 러닝의 응용 분야

활성화 함수는 신경망에 의존하는 거의 모든 AI 애플리케이션에 기본적입니다.

• 컴퓨터 비전: 객체 탐지와 같은 작업에서 CNN은 숨겨진 레이어에서 ReLU 및 SiLU와 같은 함수를 사용하여 시각 정보를 처리합니다. 예를 들어, 자율 주행 차량의 인식 시스템은 이러한 기능을 사용하여 카메라 데이터에서 보행자, 다른 차량 및 교통 표지판을 실시간으로 식별합니다.
• 자연어 처리(NLP): 기계 번역에서 LSTM은 게이팅 메커니즘 내에서 Sigmoid 및 Tanh 함수를 사용하여 네트워크를 통해 정보 흐름을 제어함으로써 문장의 앞부분에서 컨텍스트를 기억하는 데 도움을 줍니다. 자세한 내용은 Christopher Olah의 "Understanding LSTMs"에서 확인할 수 있습니다.

관련 용어와의 비교

신경망에서 활성화 함수를 다른 핵심 개념과 구별하는 것이 중요합니다.

• 손실 함수(Loss Functions): 손실 함수는 모델의 예측과 실제 목표 값 사이의 차이("오차")를 정량화합니다. 손실 함수의 목표는 모델이 얼마나 잘 수행되고 있는지에 대한 척도를 제공하여 학습 과정을 안내하는 것입니다. 활성화 함수는 순방향 패스 동안 뉴런의 출력을 결정하는 반면, 손실 함수는 패스 마지막에 전체 모델 출력을 평가하여 역전파(backpropagation) 중에 가중치를 업데이트하는 데 사용되는 오차를 계산합니다.
• 최적화 알고리즘(Optimization Algorithms): 이러한 알고리즘(예: Adam Optimizer, SGD(Stochastic Gradient Descent))은 계산된 손실을 기반으로 모델의 가중치가 업데이트되는 방식을 정의합니다. 손실 함수에서 파생된 기울기를 사용하여 파라미터를 조정하고 오류를 최소화합니다. 활성화 함수는 이러한 기울기 계산에 영향을 미치지만 최적화 방법 자체는 아닙니다. Google Developers의 최적화 알고리즘 개요를 참조하십시오.
• 정규화 기술: 배치 정규화와 같은 방법은 레이어에 대한 입력을 정규화하여 학습 프로세스를 안정화하고 가속화하는 것을 목표로 합니다. 정규화는 활성화 함수가 적용되기 전에 발생하여 네트워크 전체에서 일관된 데이터 분포를 유지하는 데 도움이 됩니다. 원래 배치 정규화 논문에서 자세한 내용을 읽을 수 있습니다.

활성화 함수를 이해하는 것은 효과적인 머신 러닝(ML) 모델을 설계, 훈련 및 최적화하는 데 필수적입니다. 올바른 선택은 모델 성능과 훈련 역학에 큰 영향을 미칠 수 있습니다. Ultralytics HUB와 같은 도구를 사용하여 다양한 모델과 그 구성 요소를 탐색할 수 있으며, 이는 AI 모델 구축 및 배포를 용이하게 합니다.