Vanishing Gradient

The Vanishing Gradient problem is a significant challenge encountered during the training of deep artificial neural networks. It occurs when the gradients—the values that dictate how much the network's parameters should change—become incredibly small as they propagate backward from the output layer to the input layers. Because these gradients are essential for updating the model weights, their disappearance means the earlier layers of the network stop learning. This phenomenon effectively prevents the model from capturing complex patterns in the data, limiting the depth and performance of deep learning architectures.

Link to this section사라지는 신호의 메커니즘#

이 현상이 발생하는 이유를 이해하려면 역전파 과정을 살펴보는 것이 도움이 됩니다. 훈련 중 네트워크는 손실 함수를 사용하여 예측값과 실제 타겟 간의 오차를 계산합니다. 이 오차는 가중치를 조정하기 위해 층을 거쳐 뒤로 전달됩니다. 이 조정은 미분의 연쇄 법칙(chain rule)에 의존하며, 여기에는 층별로 활성화 함수의 도함수를 곱하는 과정이 포함됩니다.

네트워크가 시그모이드 함수나 쌍곡탄젠트(tanh)와 같은 활성화 함수를 사용하는 경우, 도함수는 종종 1보다 작습니다. 수십 또는 수백 개의 층이 있는 심층 네트워크에서 이러한 작은 숫자들을 계속 곱하면 결과값은 0에 가까워집니다. 이는 "전화기 놀이"와 같이 비유할 수 있는데, 메시지가 긴 줄을 따라 전달되는 동안 시작 지점에 도달했을 때는 메시지를 들을 수 없게 되어 첫 번째 사람이 무엇을 말해야 할지 모르게 되는 것과 같습니다.

Link to this section해결책 및 최신 아키텍처#

AI 분야는 기울기 소실을 완화하기 위해 몇 가지 강력한 전략을 개발했으며, 이를 통해 Ultralytics YOLO26과 같은 강력한 모델을 생성할 수 있게 되었습니다.

• ReLU 및 변형: ReLU(Rectified Linear Unit)와 그 후속 모델인 Leaky ReLU 및 SiLU는 양수 값에 대해 포화 상태가 되지 않습니다. 이들의 도함수는 1이거나 작은 상수여서 깊은 층을 통과하는 동안 기울기 크기를 보존합니다.
• 잔차 연결(Residual Connections): 잔차 네트워크(ResNets)에서 도입된 이 기능은 기울기가 하나 이상의 층을 우회하도록 하는 "스킵 연결(skip connections)"입니다. 이는 기울기가 방해받지 않고 이전 층으로 흐를 수 있는 "고속도로"를 생성하며, 이는 현대적 객체 탐지에 필수적인 개념입니다.
• 배치 정규화(Batch Normalization): 각 층의 입력을 정규화함으로써 배치 정규화는 네트워크가 도함수가 너무 작지 않은 안정적인 영역에서 작동하도록 보장하며, 세심한 초기화에 대한 의존도를 줄입니다.
• 게이트 아키텍처(Gated Architectures): 시퀀스 데이터의 경우, LSTM(Long Short-Term Memory) 네트워크와 GRU는 특수 게이트를 사용하여 정보 중 얼마를 유지하거나 잊을지 결정하며, 긴 시퀀스에 걸쳐 기울기가 사라지는 것을 효과적으로 방지합니다.

Link to this section기울기 소실 vs. 기울기 폭주#

두 현상 모두 동일한 기본 메커니즘(반복적인 곱셈)에서 비롯되지만, 기울기 소실은 기울기 폭주와는 다릅니다.

• 기울기 소실: 기울기가 0으로 수렴하여 학습이 중단됩니다. 이는 시그모이드 활성화 함수를 사용하는 심층 네트워크에서 흔히 발생합니다.
• 기울기 폭주: 기울기가 누적되어 지나치게 커지며, 이로 인해 모델 가중치가 크게 변동하거나 NaN(Not a Number) 값에 도달합니다. 이는 종종 기울기 클리핑(gradient clipping)을 통해 해결됩니다.

Link to this section실제 애플리케이션 사례#

기울기 소실 문제를 극복하는 것은 현대 AI 애플리케이션 성공의 전제 조건이었습니다.

1. Deep Object Detection: Models used for autonomous vehicles, such as the YOLO series, require hundreds of layers to differentiate between pedestrians, signs, and vehicles. Without solutions like residual blocks and batch normalization, training these deep networks on massive datasets like COCO would be impossible. Tools like the Ultralytics Platform help streamline this training process, ensuring these complex architectures converge correctly.

2. 기계 번역: 자연어 처리(NLP)에서 긴 문장을 번역하려면 첫 단어와 마지막 단어 사이의 관계를 이해해야 합니다. RNN(LSTM을 통한 방법)과 이후 Transformer에서 기울기 소실 문제를 해결함으로써 모델은 긴 문단에 걸쳐 맥락을 유지할 수 있게 되었으며, 이는 Google 번역과 같은 기계 번역 서비스를 혁신했습니다.

Link to this sectionPython 예제#

최신 프레임워크와 모델은 이러한 복잡성 중 많은 부분을 추상화합니다. YOLO26과 같은 모델을 훈련할 때, 해당 아키텍처는 기울기 소실을 방지하기 위해 SiLU 활성화 및 배치 정규화와 같은 구성 요소를 자동으로 포함합니다.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation, Jan 2026)
# This architecture includes residual connections and modern activations
# that inherently prevent vanishing gradients.
model = YOLO("yolo26n.pt")

# Train the model on a dataset
# The optimization process remains stable due to the robust architecture
results = model.train(data="coco8.yaml", epochs=10)