Backpropagation

오류 역전파를 줄여 부르는 역전파는 신경망의 각 가중치가 예측 오류에 얼마나 기여했는지 계산하는 알고리즘입니다. 손실 함수에서 시작해 연쇄 법칙을 레이어별로 입력 방향으로 적용하고 각 중간 결과를 재사용합니다. 따라서 한 번의 역방향 계산으로 모델의 매개변수가 수천 개이든 수십억 개이든 모든 가중치의 그래디언트를 구할 수 있습니다. 그런 다음 옵티마이저가 그래디언트를 사용해 가중치를 업데이트합니다. 이 때문에 역전파는 사실상 모든 딥러닝 모델의 학습 과정에서 핵심 단계입니다. Rumelhart, Hinton, Williams는 1986년 Nature 논문 Learning representations by back-propagating errors을 통해 신경망에서 역전파를 널리 알렸습니다.

역전파의 작동 방식#

배치 학습은 두 번의 패스로 진행됩니다. 순방향 패스에서는 입력을 각 레이어에 통과시키고 중간 활성화를 저장한 뒤 손실을 계산합니다. 역방향 패스는 손실에서 시작해 레이어를 역순으로 처리합니다. 각 레이어는 출력에 대한 손실의 그래디언트, 즉 상류 그래디언트를 입력으로 받아 자체 국소 미분값을 곱해 두 가지 결과를 생성합니다. 하나는 옵티마이저가 사용할 레이어 가중치의 그래디언트이고, 다른 하나는 레이어 입력에 대한 그래디언트이며 아래 레이어의 상류 그래디언트가 됩니다.

각 레이어에는 상류 그래디언트와 저장된 활성화만 필요하므로 미분을 두 번 계산하지 않습니다. 자동 미분 관점에서 역전파는 신경망의 계산 그래프에 대한 역방향 모드 미분입니다. PyTorch는 순방향 패스에서 그래프를 구성하고 loss.backward()을 호출하면 그래프를 역방향으로 순회합니다. 두 개의 가중치로 구성된 네트워크에서는 PyTorch의 autograd 결과를 직접 전개한 연쇄 법칙과 비교해 확인할 수 있습니다.

import torch

# A two-weight network: prediction = w2 * tanh(w1 * x)
x, target = torch.tensor(1.5), torch.tensor(0.5)
w1 = torch.tensor(0.8, requires_grad=True)
w2 = torch.tensor(-1.2, requires_grad=True)

# Forward pass, keeping the hidden activation h for the backward pass
h = torch.tanh(w1 * x)
loss = (w2 * h - target) ** 2

# Backward pass: autograd applies the chain rule from the loss back to each weight
loss.backward()

# The same chain rule by hand, reusing the upstream gradient dL/dy for both weights
dL_dy = 2 * (w2 * h - target)
dL_dw2 = dL_dy * h
dL_dw1 = dL_dy * w2 * (1 - h**2) * x
print(f"autograd: dL/dw1 = {w1.grad:.4f}, dL/dw2 = {w2.grad:.4f}")
print(f"by hand:  dL/dw1 = {dL_dw1:.4f}, dL/dw2 = {dL_dw2:.4f}")

두 줄 모두 dL/dw1 = 1.6475, dL/dw2 = -2.5016을 출력합니다. 직접 작성한 버전은 dL_dy을 한 번 계산해 두 가중치에 재사용합니다. autograd가 수십억 개의 가중치를 가진 네트워크를 처리할 수 있는 것도 같은 재사용 덕분입니다. 시간에 따른 역전파(BPTT)는 시간 단계에 따라 펼쳐진 순환 신경망에 같은 알고리즘을 적용한 것입니다.

역전파와 옵티마이저의 차이#

역전파는 그래디언트만 계산하며 가중치는 변경하지 않습니다. 확률적 경사 하강법(SGD)이나 Adam과 같은 최적화 알고리즘은 학습률을 적용해 그래디언트를 가중치 업데이트로 변환합니다. PyTorch는 각 역방향 패스의 결과를 가중치에 이미 저장된 그래디언트에 더하므로 옵티마이저 단계 하나에서 여러 배치의 결과를 결합할 수 있습니다.

Ultralytics YOLO 학습은 그래디언트 누적을 사용해 명목상 배치 크기 64 이미지(nbs=64)를 구현합니다. 워밍업이 끝난 뒤 batch=16 실행은 모든 배치에 대해 역전파를 수행하지만, 결합된 그래디언트의 노름을 10으로 클리핑한 다음 네 번째 배치마다 옵티마이저 단계를 실행합니다.

기울기 소실 및 폭주#

역전파에서는 국소 미분값을 층마다 곱하므로, 기울기의 크기가 깊이에 따라 기하급수적으로 작아지거나 커질 수 있습니다. 포화된 시그모이드 유닛처럼 대부분의 인자가 1보다 작으면 가장 앞쪽 층에는 거의 신호가 전달되지 않는데, 이것이 기울기 소실 문제입니다. 대부분의 인자가 1보다 크면 기울기 폭주 문제가 발생해 업데이트 값이 매우 커지고 NaN 손실이 생깁니다. ReLU 계열 활성화 함수, 스케일링된 가중치 초기화, 배치 정규화, 잔차 네트워크의 스킵 연결은 수백 개 층에 걸쳐 기울기 크기를 안정적으로 유지합니다.

연산 및 메모리 비용#

국소 미분에 필요한 각 활성값은 순전파가 끝난 후 역전파가 해당 활성값에 도달할 때까지 메모리에 유지되어야 합니다. 따라서 학습 메모리는 배치 크기, 입력 해상도, 네트워크 깊이에 따라 증가하며, 학습에는 추론보다 훨씬 많은 메모리가 필요합니다. 기울기 체크포인팅은 일부 활성값만 저장하고 나머지는 역전파 중에 다시 계산하여, 연산량을 늘리는 대신 메모리를 줄입니다. 혼합 정밀도는 대부분의 활성값을 32비트 부동소수점의 절반 공간만 차지하는 16비트 형식으로 저장합니다. 연산 측면에서 역전파 비용은 순전파의 약 두 배입니다. 각 층에서 가중치와 입력 모두에 대한 기울기를 계산하기 때문입니다. 따라서 스케일링 법칙 추정에서는 학습 토큰당 파라미터 하나에 약 6회의 부동소수점 연산이 필요하다고 계산합니다. 순전파에서 2회, 역전파에서 4회입니다.