Leaky ReLU

Leaky ReLU(Leaky Rectified Linear Unit)는 신경망(NN)에 사용되는 활성화 함수이며 표준 ReLU(Rectified Linear Unit) 함수를 직접적으로 개선한 것입니다. 뉴런이 비활성화되어 훈련 중에 학습을 중단할 수 있는 "dying ReLU" 문제를 해결하기 위해 설계되었습니다. Leaky ReLU는 음수 입력 값에 대해 작은 0이 아닌 기울기를 도입하여 뉴런이 항상 기울기를 갖도록 보장하므로 딥 러닝(DL) 모델에서 더욱 안정적이고 일관된 훈련이 가능합니다. 이 간단한 수정은 다양한 아키텍처에서 효과적인 것으로 입증되어 모델 성능과 훈련 역학을 개선하는 데 도움이 됩니다.

Leaky ReLU가 Dying Neuron 문제 해결하는 방법

Leaky ReLU의 주요 동기는 dying ReLU 문제를 해결하는 것입니다. 표준 ReLU 함수에서 뉴런에 대한 음수 입력은 0의 출력을 초래합니다. 뉴런이 지속적으로 음수 입력을 받으면 항상 0을 출력합니다. 결과적으로 역전파 중에 이 뉴런을 통과하는 기울기도 0이 됩니다. 즉, 뉴런의 가중치가 더 이상 업데이트되지 않고 학습 과정에 효과적으로 참여하지 않아 "죽게" 됩니다.

Leaky ReLU는 장치가 활성 상태가 아닐 때 작은 양의 기울기를 허용하여 이 문제를 해결합니다. 음수 입력에 대해 0을 출력하는 대신 작은 상수("leak")를 곱한 값을 출력합니다. 이렇게 하면 뉴런이 0 기울기를 갖지 않아 복구하고 계속 학습할 수 있습니다. 이 접근 방식은 Convolutional Network에서 Rectified 활성화의 경험적 평가에 대한 논문에 처음 자세히 설명되었습니다.

실제 애플리케이션

보다 안정적인 훈련을 촉진하는 Leaky ReLU의 능력은 인공 지능(AI)의 여러 영역에서 가치를 입증했습니다.

• GAN(Generative Adversarial Networks): Leaky ReLU는 GAN(Generative Adversarial Networks)의 판별자 네트워크에서 자주 사용됩니다. GAN은 생성기와 판별기 간의 미묘한 균형을 필요로 하며 표준 ReLU의 기울기 소실은 이 훈련을 불안정하게 만들 수 있습니다. GAN에 대한 Google 개발자 블로그와 같은 리소스에서 설명한 것처럼 Leaky ReLU의 일관된 0이 아닌 기울기는 두 네트워크가 보다 효과적으로 학습하는 데 도움이 되어 더 높은 품질의 합성 데이터 생성을 가능하게 합니다.
• 객체 감지 모델: 일부 버전의 YOLO를 포함하여 초기에는 영향력 있는 객체 감지 모델에서 Leaky ReLU를 사용했습니다. 딥 컨볼루션 신경망(CNN)에서 소멸하는 뉴런은 모델이 중요한 특징을 학습하는 것을 방해할 수 있습니다. Leaky ReLU는 모든 뉴런이 활성 상태를 유지하도록 도와 COCO와 같은 다양한 데이터 세트에서 객체를 감지하는 모델의 능력을 향상시킵니다. Ultralytics YOLO11과 같은 많은 최신 아키텍처는 이제 더 고급 기능을 사용하지만 Leaky ReLU는 기반을 구축하는 데 중요한 구성 요소였습니다.

Leaky ReLU와 다른 활성화 함수 비교

Leaky ReLU는 원래 ReLU를 개선하기 위해 설계된 여러 활성화 함수 중 하나입니다. 다른 활성화 함수와의 관계를 이해하면 주어진 작업에 적합한 함수를 선택하는 데 도움이 됩니다.

• ReLU: 주요 차이점은 ReLU는 음수 입력에 대해 완전히 비활성 상태인 반면 Leaky ReLU는 작고 일정한 기울기를 유지한다는 것입니다.
• SiLU 및 GELU: SiLU(Sigmoid Linear Unit) 및 GELU(Gaussian Error Linear Unit)와 같은 최신 활성화 함수는 부드럽고 단조롭지 않은 곡선을 제공하여 때로는 더 나은 정확도를 얻을 수 있습니다. 이러한 함수는 종종 트랜스포머와 같은 고급 모델에서 발견됩니다. 그러나 Leaky ReLU의 간단한 선형 연산보다 계산적으로 더 복잡합니다. 활성화 함수에 대한 자세한 개요는 추가적인 비교를 제공할 수 있습니다.
• 파라메트릭 ReLU (PReLU): PReLU는 누출 계수가 훈련 중에 학습되어 고정된 하이퍼파라미터가 아닌 모델의 파라미터가 되는 변형입니다.

활성화 함수의 최적 선택은 특정 아키텍처, 데이터 세트(Ultralytics 데이터 세트에서 사용 가능한 데이터 세트 등) 및 하이퍼파라미터 튜닝 결과에 따라 달라지는 경우가 많습니다. Leaky ReLU는 단순성, 낮은 계산 오버헤드 및 뉴런 소멸 방지 효과로 인해 여전히 강력한 선택입니다.

PyTorch 및 TensorFlow와 같은 주요 딥러닝 프레임워크는 PyTorch의 LeakyReLU 및 TensorFlow의 LeakyReLU에 대한 공식 문서에서 볼 수 있듯이 간단한 구현을 제공합니다. 이러한 접근성을 통해 개발자는 Ultralytics HUB와 같은 플랫폼을 사용하여 쉽게 실험하고 모델에 통합할 수 있습니다.