Identity Mapping
아이덴티티 매핑은 블록의 입력을 단축 연결을 통해 변경 없이 전달한 다음 출력에 더하여, 깊은 네트워크의 초기 레이어까지 그래디언트가 전달되도록 합니다.
딥러닝에서 항등 매핑은 블록의 입력을 변경 없이 다음으로 전달해 블록의 출력에 더하는 연결입니다. 따라서 블록은 y = F(x)가 아니라 y = x + F(x)를 계산합니다. 이름은 항등 함수 f(x) = x에서 유래했습니다. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun은 2015년에 이러한 항등 지름길 연결을 기반으로 잔차 네트워크 (ResNet)를 구축하고 152개 계층 네트워크로 그해 ImageNet 분류 챌린지에서 우승했습니다. 항등 지름길은 이제 합성곱 신경망 (CNN)부터 모든 Transformer의 잔차 스트림까지 거의 모든 딥러닝 아키텍처에 사용됩니다.
항등 매핑이 깊은 네트워크의 학습을 가능하게 하는 이유#
ResNet 이전에는 계층을 추가하면 네트워크 성능이 나빠지는 경우가 많았습니다. He와 동료들은 56계층 일반 네트워크의 CIFAR-10 학습 오류가 20계층 네트워크보다 높다는 사실을 발견했습니다. 즉, 추가 깊이가 최적화 자체를 방해했으며 연구진은 이 문제를 성능 저하라고 불렀습니다. 더 깊은 네트워크는 추가 계층을 항등 함수로 설정해 얕은 네트워크와 항상 같은 성능을 낼 수 있지만, 비선형 계층을 쌓은 구조는 항등 함수를 학습하기 어렵습니다. 잔차 블록은 입력과의 차이 F(x) = H(x) - x만 학습하면 되며, F를 0에 가깝게 만들면 항등 함수가 복원됩니다.
지름길 연결은 역전파도 바꿉니다. y = x + F(x)이므로 x에 대한 y의 미분값은 1과 F의 미분값을 더한 값이며, 상수 1은 모든 블록을 지나 그래디언트를 직접 뒤로 전달합니다. 일반 계층 구조에서는 그래디언트가 각 계층의 여러 인자 곱으로 계산됩니다. 각 인자가 1보다 작으면 결과가 기하급수적으로 작아지는데, 이것이 기울기 소실 문제입니다. PyTorch에서 지름길 연결 없이, 그리고 지름길 연결을 적용해 동일한 50개 계층을 실행하면 차이를 확인할 수 있습니다:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")실행 결과는 동일한 가중치로 만든 일반 계층 구조와 잔차 계층 구조의 입력에서 각각 1.1e-15과 2.8e+00의 그래디언트 노름을 출력합니다. 지름길 연결이 없으면 이 네트워크의 초기 계층은 학습 신호를 거의 받지 못합니다.
지름길 연결을 순수하게 유지하기#
같은 저자들이 2016년에 발표한 후속 연구 심층 잔차 네트워크의 항등 매핑에서는 x를 스케일링하거나 게이팅하거나 합성곱을 적용하거나 드롭아웃하는 지름길 연결을 테스트했습니다. 모든 변형은 순수한 항등 매핑보다 학습 성능이 낮았습니다. 저자들은 또한 배치 정규화와 활성화 함수를 가중치 앞의 잔차 분기 안으로 옮겨 블록 사이의 신호에는 아무것도 적용되지 않게 했습니다. 이 사전 활성화 설계로 CIFAR-10에서 오류율 4.62%를 달성하는 1,001계층 ResNet과 ImageNet용 200계층 ResNet을 학습했습니다. 최신 Transformer는 각 어텐션 및 피드포워드 분기 안에 정규화를 적용하고 잔차 스트림 자체는 건드리지 않는 사전 정규화 블록으로 같은 원칙을 따릅니다.
항등 지름길 연결은 입력과 출력의 형태가 같아야 합니다. 블록에서 채널 수를 변경하거나 다운샘플링할 때 ResNet은 프로젝션 지름길 연결로 대체합니다. 보통 스트라이드가 일치하는 1 x 1 합성곱을 사용합니다:
Ultralytics YOLO26은 백본과 넥 전반에 항등 지름길 연결을 사용합니다. 모든 C3k2 블록은 입력 및 출력 채널 수가 같을 때 3 x 3 합성곱 두 개의 출력에 x를 더해 반환하는 병목 블록으로 구성됩니다. SPPF 블록도 같은 방식으로 입력을 풀링된 출력에 더합니다.
항등 초기화#
블록은 항등 함수로 시작할 수도 있습니다. 각 잔차 분기의 마지막 배치 정규화 레이어의 스케일을 0으로 설정하면 초기화 시 F(x) = 0이 되므로, 깊은 네트워크가 얕은 네트워크처럼 학습을 시작합니다. Priya Goyal과 동료들은 이 방법을 사용해 대규모 배치로 ImageNet에서 ResNet-50을 한 시간 만에 학습했으며, torchvision에서는 이를 zero_init_residual=True으로 제공합니다. 2020년에 제안된 ReZero는 학습 가능한 스칼라를 각 잔차 분기에 곱하며, 이 스칼라는 0에서 시작합니다.
PyTorch의 nn.Identity 모듈은 매개변수가 없는 문자 그대로의 항등 사상입니다. model.fc = nn.Identity()처럼 분류 헤드를 이 모듈로 바꾸면 이미지 분류 네트워크가 특징 추출 모델로 변환되어 마지막에서 두 번째 레이어의 임베딩을 반환합니다.
관련 용어#
스킵 연결은 레이어를 우회하는 모든 경로를 아우르는 더 넓은 용어입니다. 잔차 연결은 덧셈을 사용하는 스킵 연결이며, 항등 사상은 경로에서 아무런 변환도 적용하지 않는 잔차 연결입니다. U-Net과 DenseNet은 이전 특징 맵을 더하는 대신 연결하는 스킵 연결을 사용합니다. 아이덴티티 보존은 생성형 AI와 추적 분야에서 사용되는 별개의 용어로, 생성되거나 추적되는 사람이 이미지 또는 비디오 프레임 전반에서 동일한 인물로 알아볼 수 있는 외모를 유지한다는 뜻입니다.










