활성화 기능

활성화 함수는 뉴런 또는 신경망(NN)의 노드에 적용되는 수학적 함수입니다. 활성화 함수의 주요 역할은 가중치 입력에 따라 해당 뉴런의 출력을 결정하는 것입니다. 간단히 말해, 뉴런을 '활성화'할 것인지 '해고'할 것인지, 활성화할 경우 다음 계층으로 전달할 신호의 강도를 결정합니다. 이 메커니즘은 네트워크에 비선형성을 도입하여 데이터에서 복잡한 패턴과 관계를 학습할 수 있도록 하는 데 매우 중요합니다. 활성화 함수가 없는 신경망은 레이어 수에 상관없이 단순한 선형 회귀 모델처럼 작동하여 복잡한 실제 문제를 해결하는 능력이 심각하게 제한됩니다.

활성화 기능의 유형

활성화 함수에는 여러 유형이 있으며, 각각 고유한 속성을 가지고 있습니다. 어떤 함수를 선택하느냐에 따라 모델의 성능과 훈련 효율성에 큰 영향을 미칠 수 있습니다.

• 시그모이드: 이 함수는 모든 입력 값을 0과 1 사이의 범위에 매핑합니다. 과거에는 널리 사용되었지만 지금은 소실 그라데이션 문제로 인해 딥러닝 모델의 숨겨진 레이어에서 학습 속도가 느려질 수 있기 때문에 덜 사용됩니다. 이진 분류 작업을 위한 출력 레이어에서는 여전히 사용됩니다.
• 탄 (쌍곡선 탄젠트): 시그모이드와 유사하지만 입력을 -1에서 1 사이의 범위로 매핑합니다. 출력이 0 중심이기 때문에 시그모이드보다 모델이 더 빨리 수렴하는 데 도움이 되는 경우가 많습니다. 순환 신경망(RNN)에서 자주 사용됩니다. PyTorch와 TensorFlow 같은 프레임워크에서 구현을 찾을 수 있습니다.
• ReLU(정류 선형 단위): 최신 신경망, 특히 합성곱 신경망(CNN)에서 가장 널리 사용되는 활성화 함수입니다. 입력이 양수이면 바로 출력하고, 그렇지 않으면 0을 출력합니다. 단순성과 효율성으로 소실 경사 문제를 완화하여 학습 속도를 높일 수 있습니다.
• Leaky ReLU: 입력이 음수일 때 0이 아닌 작은 기울기를 허용하는 ReLU의 변형입니다. 이는 뉴런이 비활성 상태가 되어 학습을 멈출 수 있는 '죽어가는 ReLU' 문제를 해결하기 위해 고안되었습니다.
• SiLU(시그모이드 선형 단위): 부드럽고 비단조적인 함수로, 울트라틱스 욜로와 같은 최신 모델에서 인기를 얻고 있습니다. 선형성과 비선형성의 장점을 결합하여 심층 모델에서 ReLU보다 성능이 뛰어난 경우가 많습니다.
• 소프트맥스: 다중 클래스 이미지 분류 작업을 위한 신경망의 출력 레이어에만 사용됩니다. 원시 점수(로그)의 벡터를 확률 분포로 변환하며, 각 값은 입력이 특정 클래스에 속할 확률을 나타냅니다.

AI 및 머신 러닝 분야의 애플리케이션

활성화 기능은 신경망에 의존하는 거의 모든 AI 애플리케이션의 기본입니다.

• 컴퓨터 비전: 물체 감지와 같은 작업에서 CNN은 시각 정보를 처리하기 위해 숨겨진 레이어에서 ReLU 및 SiLU와 같은 함수를 사용합니다. 예를 들어, 자율주행 차량의 인식 시스템은 이러한 기능을 사용하여 카메라 데이터에서 보행자, 다른 차량, 교통 표지판을 실시간으로 식별합니다.
• 자연어 처리(NLP): 기계 번역에서 LSTM은 게이트 메커니즘 내에서 시그모이드 및 탄 함수를 사용하여 네트워크를 통한 정보의 흐름을 제어함으로써 문장의 앞부분에서 문맥을 기억하는 데 도움을 줍니다. 포괄적인 개요는 크리스토퍼 올라의'LSTM의 이해'에서 확인할 수 있습니다.

관련 용어와의 비교

활성화 함수를 신경망의 다른 주요 개념과 구별하는 것이 중요합니다:

• 손실 함수: 손실 함수는 모델의 예측과 실제 목표 값("오차")의 차이를 정량화합니다. 손실 함수의 목표는 모델이 얼마나 잘 수행되고 있는지를 측정하여 학습 과정을 안내하는 것입니다. 활성화 함수는 포워드 패스 동안 뉴런의 출력을 결정하는 반면, 손실 함수는 패스 종료 시 전체 모델 출력을 평가하여 역전파 중 가중치 업데이트에 사용되는 오류를 계산합니다.
• 최적화 알고리즘: 이러한 알고리즘(예: 아담 최적화, 확률적 경사 하강(SGD))은 계산된 손실에 따라 모델의 가중치를 업데이트하는 방법을 정의합니다. 이들은 손실 함수에서 파생된 기울기를 사용하여 매개변수를 조정하고 오류를 최소화합니다. 활성화 함수는 이러한 기울기 계산에 영향을 주지만 최적화 방법 자체는 아닙니다. Google 개발자의 최적화 알고리즘 개요를 참조하세요.
• 정규화 기법: 일괄 정규화와 같은 방법은 레이어에 대한 입력을 정규화하여 학습 프로세스를 안정화하고 가속화하는 것을 목표로 합니다. 정규화는 활성화 함수가 적용되기 전에 이루어지며, 네트워크 전체에서 일관된 데이터 분포를 유지하는 데 도움이 됩니다. 자세한 내용은 배치 정규화 백서 원본에서 확인할 수 있습니다.

효과적인 머신러닝(ML) 모델을 설계, 학습 및 최적화하려면 활성화 함수를 이해하는 것이 필수적입니다. 올바른 선택은 모델 성능과 학습 역학에 큰 영향을 미칠 수 있습니다. AI 모델 구축 및 배포를 용이하게 해주는 Ultralytics HUB와 같은 도구를 사용하여 다양한 모델과 그 구성 요소를 탐색할 수 있습니다.