GELU (Gaussian Error Linear Unit)

Gaussian Error Linear Unit (GELU)는 현대 인공지능(AI) 시스템, 특히 Transformer 아키텍처 기반 시스템의 성능에서 핵심적인 역할을 하는 정교한 활성화 함수입니다. 뉴런 입력에 엄격하고 결정론적인 임계값을 적용하는 전통적인 함수들과 달리, GELU는 가우스 분포의 속성에서 영감을 받은 확률적 측면을 도입합니다. 입력을 단순 차단하는 대신 그 크기에 따라 가중치를 부여함으로써, GELU는 딥러닝(DL) 모델의 최적화를 돕는 더 부드러운 비선형성을 제공합니다. 이 고유한 특성 덕분에 네트워크는 복잡한 데이터 패턴을 더욱 효과적으로 모델링할 수 있으며, 대규모 기초 모델의 성공에 크게 기여합니다.

GELU의 작동 원리#

모든 신경망의 핵심에서 활성화 함수는 입력 신호를 기반으로 뉴런이 "발화"할지 여부를 결정합니다. ReLU(Rectified Linear Unit) 같은 구형 함수들은 스위치처럼 작동하여, 음수 입력에 대해서는 0을 출력하고 양수 값에 대해서는 입력값 자체를 출력합니다. 효율적이기는 하지만, 이러한 급격한 절단은 학습 동적에 방해가 될 수 있습니다.

GELU는 가우스 분포의 누적 분포 함수를 통해 입력의 크기를 조정함으로써 이를 개선합니다. 직관적으로 이는 입력값이 감소함에 따라 뉴런이 드롭아웃될 확률이 증가하되, 갑작스럽지 않고 점진적으로 이루어진다는 것을 의미합니다. 이러한 곡률은 모든 지점에서 미분 가능한 부드러운 비단조 함수를 만들어냅니다. 이 부드러움은 역전파의 그래디언트를 더 원활하게 하여, 심층 네트워크의 학습을 정체시킬 수 있는 기울기 소실 문제 같은 문제를 완화하는 데 도움을 줍니다.

실제 애플리케이션 사례#

GELU가 제공하는 더 부드러운 최적화 풍경 덕분에, 이 함수는 머신러닝(ML)의 가장 발전된 응용 분야 중 일부에서 기본 선택지가 되었습니다.

• 대형 언어 모델(LLM): GELU는 구글 연구원들이 BERT(Bidirectional Encoder Representations from Transformers)를 선보이면서 주목받기 시작했습니다. 현재 이 함수는 GPT 시리즈 및 기타 생성형 텍스트 모델의 표준 구성 요소입니다. 텍스트 요약이나 감성 분석 같은 작업에서, GELU는 엄격한 활성화 함수가 놓칠 수 있는 언어 표현의 미묘한 뉘앙스를 모델이 포착하도록 돕습니다.
• 비전 트랜스포머(ViT): 컴퓨터 비전 영역에서, Transformer 아키텍처를 이미지 분류에 맞게 조정하는 모델들은 GELU에 크게 의존합니다. 이미지를 패치 시퀀스로 처리하면서, 이 모델들은 깊은 레이어 전반에 걸쳐 풍부한 특징 정보를 유지하기 위해 GELU를 사용하여 ImageNet 같은 벤치마크에서 높은 정확도를 달성할 수 있게 합니다.

관련 용어와의 비교#

GELU를 이해하려면 종종 Ultralytics 용어집에 있는 다른 인기 활성화 함수들과 구별할 필요가 있습니다.

• GELU 대 ReLU: ReLU는 연산이 더 단순하고 희소성(정확한 0)을 만들어내어 효율적일 수 있습니다. 하지만 0에서의 "날카로운 모서리"로 인해 수렴 속도가 느려질 수 있습니다. GELU는 복잡한 작업에서 대개 더 높은 정확도를 내는 부드러운 근사값을 제공하지만, 계산 비용이 약간 더 듭니다.
• GELU 대 SiLU(Swish): SiLU(Sigmoid Linear Unit)는 구조적으로 GELU와 매우 유사하며 부드러운 비단조적 속성을 공유합니다. GELU가 자연어 처리(NLP)에서 우세한 반면, SiLU는 엣지 하드웨어에서의 효율성과 뛰어난 감지 성능 덕분에 YOLO26과 같이 고도로 최적화된 객체 검출기에서 자주 선호됩니다.
• GELU 대 Leaky ReLU: Leaky ReLU는 음수 입력에 대해 작고 일정한 선형 기울기를 허용함으로써 표준 ReLU의 "죽은 뉴런" 문제를 해결하고자 합니다. 이와 달리 GELU는 음수 값에 대해 비선형적이며, 매우 깊은 네트워크에서 더 나은 표현 학습으로 이어지는 복잡하고 적응적인 반응을 제공합니다.

구현 예시#

GELU 구현은 PyTorch 같은 현대 딥러닝 라이브러리를 사용하면 간단합니다. 다음 예제는 입력 데이터 텐서에 이 함수를 적용하는 방법을 보여줍니다.

import torch
import torch.nn as nn

# Initialize the GELU activation function
gelu_activation = nn.GELU()

# Create sample input data including negative and positive values
input_data = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])

# Apply GELU to the inputs
output = gelu_activation(input_data)

# Print results to see the smoothing effect on negative values
print(f"Input: {input_data}")
print(f"Output: {output}")

자신의 컴퓨터 비전 프로젝트에서 이러한 고급 활성화 함수를 활용하고자 하는 개발자를 위해, Ultralytics Platform은 전체 워크플로를 단순화합니다. 데이터를 주석 처리하고, (SiLU 같은 최적화된 활성화 함수를 사용하는) YOLO26 같은 아키텍처를 이용해 모델을 학습하며, 클라우드나 엣지 디바이스에 효율적으로 배포할 수 있는 통합 인터페이스를 제공합니다.