Vanishing Gradient

기울기 소실 문제는 심층 인공 신경망을 학습하는 과정에서 발생하는 중대한 난제입니다. 이는 출력 레이어에서 입력 레이어 방향으로 역전파될 때 네트워크의 파라미터가 얼마나 변경되어야 하는지를 결정하는 값인 기울기가 매우 작아지는 현상입니다. 이러한 기울기는 모델 가중치를 업데이트하는 데 필수적이므로, 기울기가 사라지면 네트워크의 초기 레이어가 학습을 중단합니다. 이 현상은 모델이 데이터의 복잡한 패턴을 포착하는 것을 사실상 방해하여 딥러닝 아키텍처의 깊이와 성능을 제한합니다.

사라지는 신호의 작동 원리#

이 현상이 발생하는 이유를 이해하려면 역전파 과정을 살펴보는 것이 도움이 됩니다. 학습 중에 네트워크는 손실 함수를 사용하여 예측값과 실제 타깃 간의 오차를 계산합니다. 그런 다음 이 오차를 레이어를 따라 역방향으로 전달하여 가중치를 조정합니다. 이러한 조정은 미적분의 연쇄 법칙에 기반하며, 레이어별로 활성화 함수의 도함수를 곱하는 과정을 포함합니다.

네트워크가 시그모이드 함수나 쌍곡탄젠트(tanh)와 같은 활성화 함수를 사용하면 도함수는 대개 1보다 작습니다. 수십 또는 수백 개의 레이어로 구성된 심층 네트워크에서 이러한 작은 값들을 여러 번 곱하면 결과는 0에 가까워집니다. 이를 긴 줄에 선 사람들이 메시지를 귓속말로 전달하는 "전화 놀이"에 비유할 수 있습니다. 메시지가 줄의 시작점에 도달할 때쯤에는 들리지 않게 되어 첫 번째 사람이 무슨 말을 해야 할지 알 수 없게 됩니다.

해결 방법과 최신 아키텍처#

AI 분야에서는 기울기 소실을 완화하기 위한 몇 가지 강력한 전략이 개발되었으며, 이를 통해 Ultralytics YOLO26과 같은 강력한 모델을 만들 수 있게 되었습니다.

• ReLU 및 변형: 정류 선형 유닛(ReLU)과 그 후속 함수인 Leaky ReLU 및 SiLU는 양수 값에서 포화되지 않습니다. 이러한 함수의 도함수는 1 또는 작은 상수이므로 심층 레이어를 거치는 동안 기울기의 크기를 유지합니다.
• 잔차 연결: 잔차 네트워크(ResNets)에서 도입된 이 연결은 기울기가 하나 이상의 레이어를 우회할 수 있도록 하는 "스킵 연결"입니다. 이를 통해 기울기가 방해받지 않고 초기 레이어로 흐를 수 있는 "고속도로"가 만들어지며, 이는 최신 객체 검출에 필수적인 개념입니다.
• 배치 정규화: 각 레이어의 입력을 정규화함으로써 배치 정규화는 네트워크가 도함수가 지나치게 작지 않은 안정적인 영역에서 작동하도록 하여 신중한 초기화에 대한 의존도를 줄입니다.
• 게이트 아키텍처: 순차 데이터의 경우 장단기 메모리(LSTM) 네트워크와 GRU는 특수 게이트를 사용하여 유지하거나 잊을 정보의 양을 결정하며, 긴 시퀀스에서 기울기가 소실되지 않도록 효과적으로 보호합니다.

기울기 소실과 기울기 폭발#

두 현상은 동일한 기본 메커니즘인 반복적인 곱셈에서 비롯되지만, 기울기 소실은 기울기 폭발과는 구별됩니다.

• 기울기 소실: 기울기가 0에 가까워져 학습이 중단됩니다. 이는 시그모이드 활성화 함수를 사용하는 심층 네트워크에서 흔히 발생합니다.
• 기울기 폭발: 기울기가 누적되어 지나치게 커지면서 모델 가중치가 크게 변동하거나 NaN(숫자가 아님)에 도달합니다. 이는 기울기 클리핑을 통해 해결하는 경우가 많습니다.

실제 적용 사례#

기울기 소실을 극복하는 것은 최신 AI 애플리케이션의 성공을 위한 필수 조건이었습니다.

1. 심층 객체 검출: YOLO 시리즈와 같이 자율주행 차량에 사용되는 모델은 보행자, 표지판, 차량을 구분하기 위해 수백 개의 레이어가 필요합니다. 잔차 블록과 배치 정규화 같은 해결 방법이 없다면 COCO와 같은 대규모 데이터셋으로 이러한 심층 네트워크를 학습하는 것은 불가능했을 것입니다. Ultralytics Platform과 같은 도구는 이 학습 과정을 간소화하여 이러한 복잡한 아키텍처가 올바르게 수렴하도록 지원합니다.

2. 기계 번역: 자연어 처리(NLP)에서는 긴 문장을 번역하려면 첫 번째 단어와 마지막 단어 사이의 관계를 이해해야 합니다. RNNs에서 기울기 소실 문제를 해결하고(LSTM을 통해), 이후 Transformers를 활용할 수 있게 되면서 모델은 긴 문단의 맥락을 유지할 수 있게 되었고, Google Translate와 같은 기계 번역 서비스를 혁신했습니다.

Python 예제#

최신 프레임워크와 모델은 이러한 복잡성의 상당 부분을 추상화합니다. Ultralytics YOLO26과 같은 모델을 학습하면 아키텍처에 SiLU 활성화 함수와 배치 정규화 같은 구성 요소가 자동으로 포함되어 기울기 소실을 방지합니다.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation, Jan 2026)
# This architecture includes residual connections and modern activations
# that inherently prevent vanishing gradients.
model = YOLO("yolo26n.pt")

# Train the model on a dataset
# The optimization process remains stable due to the robust architecture
results = model.train(data="coco8.yaml", epochs=10)