YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Identity Mapping

아이덴티티 매핑은 블록의 입력을 단축 연결을 통해 변경 없이 전달한 다음 출력에 더하여, 깊은 네트워크의 초기 레이어까지 그래디언트가 전달되도록 합니다.

딥러닝에서 항등 매핑은 블록의 입력을 변경 없이 다음으로 전달해 블록의 출력에 더하는 연결입니다. 따라서 블록은 y = F(x)가 아니라 y = x + F(x)를 계산합니다. 이름은 항등 함수 f(x) = x에서 유래했습니다. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun은 2015년에 이러한 항등 지름길 연결을 기반으로 잔차 네트워크 (ResNet)를 구축하고 152개 계층 네트워크로 그해 ImageNet 분류 챌린지에서 우승했습니다. 항등 지름길은 이제 합성곱 신경망 (CNN)부터 모든 Transformer의 잔차 스트림까지 거의 모든 딥러닝 아키텍처에 사용됩니다.

항등 매핑이 깊은 네트워크의 학습을 가능하게 하는 이유#

ResNet 이전에는 계층을 추가하면 네트워크 성능이 나빠지는 경우가 많았습니다. He와 동료들은 56계층 일반 네트워크의 CIFAR-10 학습 오류가 20계층 네트워크보다 높다는 사실을 발견했습니다. 즉, 추가 깊이가 최적화 자체를 방해했으며 연구진은 이 문제를 성능 저하라고 불렀습니다. 더 깊은 네트워크는 추가 계층을 항등 함수로 설정해 얕은 네트워크와 항상 같은 성능을 낼 수 있지만, 비선형 계층을 쌓은 구조는 항등 함수를 학습하기 어렵습니다. 잔차 블록은 입력과의 차이 F(x) = H(x) - x만 학습하면 되며, F를 0에 가깝게 만들면 항등 함수가 복원됩니다.

지름길 연결은 역전파도 바꿉니다. y = x + F(x)이므로 x에 대한 y의 미분값은 1과 F의 미분값을 더한 값이며, 상수 1은 모든 블록을 지나 그래디언트를 직접 뒤로 전달합니다. 일반 계층 구조에서는 그래디언트가 각 계층의 여러 인자 곱으로 계산됩니다. 각 인자가 1보다 작으면 결과가 기하급수적으로 작아지는데, 이것이 기울기 소실 문제입니다. PyTorch에서 지름길 연결 없이, 그리고 지름길 연결을 적용해 동일한 50개 계층을 실행하면 차이를 확인할 수 있습니다:

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

실행 결과는 동일한 가중치로 만든 일반 계층 구조와 잔차 계층 구조의 입력에서 각각 1.1e-15과 2.8e+00의 그래디언트 노름을 출력합니다. 지름길 연결이 없으면 이 네트워크의 초기 계층은 학습 신호를 거의 받지 못합니다.

지름길 연결을 순수하게 유지하기#

같은 저자들이 2016년에 발표한 후속 연구 심층 잔차 네트워크의 항등 매핑에서는 x를 스케일링하거나 게이팅하거나 합성곱을 적용하거나 드롭아웃하는 지름길 연결을 테스트했습니다. 모든 변형은 순수한 항등 매핑보다 학습 성능이 낮았습니다. 저자들은 또한 배치 정규화와 활성화 함수를 가중치 앞의 잔차 분기 안으로 옮겨 블록 사이의 신호에는 아무것도 적용되지 않게 했습니다. 이 사전 활성화 설계로 CIFAR-10에서 오류율 4.62%를 달성하는 1,001계층 ResNet과 ImageNet용 200계층 ResNet을 학습했습니다. 최신 Transformer는 각 어텐션 및 피드포워드 분기 안에 정규화를 적용하고 잔차 스트림 자체는 건드리지 않는 사전 정규화 블록으로 같은 원칙을 따릅니다.

항등 지름길 연결은 입력과 출력의 형태가 같아야 합니다. 블록에서 채널 수를 변경하거나 다운샘플링할 때 ResNet은 프로젝션 지름길 연결로 대체합니다. 보통 스트라이드가 일치하는 1 x 1 합성곱을 사용합니다:

Ultralytics YOLO26은 백본과 넥 전반에 항등 지름길 연결을 사용합니다. 모든 C3k2 블록은 입력 및 출력 채널 수가 같을 때 3 x 3 합성곱 두 개의 출력에 x를 더해 반환하는 병목 블록으로 구성됩니다. SPPF 블록도 같은 방식으로 입력을 풀링된 출력에 더합니다.

항등 초기화#

블록은 항등 함수로 시작할 수도 있습니다. 각 잔차 분기의 마지막 배치 정규화 레이어의 스케일을 0으로 설정하면 초기화 시 F(x) = 0이 되므로, 깊은 네트워크가 얕은 네트워크처럼 학습을 시작합니다. Priya Goyal과 동료들은 이 방법을 사용해 대규모 배치로 ImageNet에서 ResNet-50을 한 시간 만에 학습했으며, torchvision에서는 이를 zero_init_residual=True으로 제공합니다. 2020년에 제안된 ReZero는 학습 가능한 스칼라를 각 잔차 분기에 곱하며, 이 스칼라는 0에서 시작합니다.

PyTorch의 nn.Identity 모듈은 매개변수가 없는 문자 그대로의 항등 사상입니다. model.fc = nn.Identity()처럼 분류 헤드를 이 모듈로 바꾸면 이미지 분류 네트워크가 특징 추출 모델로 변환되어 마지막에서 두 번째 레이어의 임베딩을 반환합니다.

스킵 연결은 레이어를 우회하는 모든 경로를 아우르는 더 넓은 용어입니다. 잔차 연결은 덧셈을 사용하는 스킵 연결이며, 항등 사상은 경로에서 아무런 변환도 적용하지 않는 잔차 연결입니다. U-Net과 DenseNet은 이전 특징 맵을 더하는 대신 연결하는 스킵 연결을 사용합니다. 아이덴티티 보존은 생성형 AI와 추적 분야에서 사용되는 별개의 용어로, 생성되거나 추적되는 사람이 이미지 또는 비디오 프레임 전반에서 동일한 인물로 알아볼 수 있는 외모를 유지한다는 뜻입니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요