Residual Networks (ResNet)

잔차 네트워크(Residual Networks), 흔히 ResNet으로 알려진 이 기술은 인공 신경망(ANN) 아키텍처의 특정 유형으로 극도로 깊은 네트워크의 훈련을 가능하게 하도록 설계되었습니다. Microsoft 연구진에 의해 소개된 ResNet은 딥 러닝의 핵심 병목 현상인 소멸하는 기울기 문제(vanishing gradient problem)를 해결했습니다. 기존 네트워크에서는 더 많은 레이어를 쌓을수록 성능이 포화되거나 저하되는 현상이 발생했습니다. 모델 가중치를 업데이트하는 데 필요한 신호가 역방향으로 레이어를 통과하며 전파될수록 점차 약화되었기 때문입니다. ResNet은 "스킵 커넥션"(잔차 연결)을 도입하여 데이터가 하나 이상의 레이어를 우회하고 후속 처리 단계로 직접 흐르도록 했습니다. 이 혁신은 더 깊은 네트워크도 효과적으로 학습될 수 있음을 입증하여 컴퓨터 비전(CV) 분야에서 중대한 돌파구를 마련했으며, 현대적 아키텍처의 기초 개념이 되었다.

핵심 개념: 잔여 학습

ResNet의 핵심 특징은 "잔차 블록"입니다. 표준 컨볼루션 신경망(CNN)에서는 각 레이어가 입력에서 출력으로의 직접 매핑을 학습하려 합니다. 네트워크가 깊어질수록 이 직접 매핑을 학습하는 것은 점점 더 어려워집니다.

ResNet은 학습 목표를 다르게 설정함으로써 이 접근법을 바꿉니다. 각 레이어 스택이 전체 매핑을 학습하기를 기대하는 대신, 잔차 블록은 레이어들이 입력과 원하는 출력 사이의 "잔차"—즉 차이를 학습하도록 강제합니다. 그런 다음 스킵 연결을 통해 학습된 잔차에 원래 입력을 다시 더합니다. 이러한 구조적 변화는 동일 매핑(입력을 변경 없이 통과시키는 것)이 최적일 경우 네트워크가 잔차를 0으로 쉽게 학습시킬 수 있음을 의미합니다. 이로 인해 딥 러닝(DL) 모델의 최적화가 훨씬 쉬워져 수십 개에서 수백 개, 심지어 수천 개의 레이어로 확장할 수 있게 되었습니다.

주요 아키텍처 변형

ResNet이 등장한 이래로 여러 변형 모델들이 AI 커뮤니티에서 표준 벤치마크로 자리 잡았다.

• ResNet-50: "병목" 설계를 활용한 50층 버전입니다. 이 설계는 1x1 컨볼루션으로 차원을 축소한 후 복원하여, 높은 정확도를 유지하면서도 네트워크의 계산 효율성을 높입니다.
• ResNet-101 및 ResNet-152: 각각 101개 및 152개의 레이어를 가진 더 깊은 변형 모델입니다. 계산 자원이 더 복잡한 구조를 허용할 때, 더 정교한 특징 맵을 포착하기 위해 자주 사용됩니다.
• ResNeXt: ResNet의 진화형으로, "카디널리티" 차원을 도입하여 잔차 블록을 여러 병렬 경로로 분할함으로써 효율성과 성능을 향상시킵니다.

실제 애플리케이션

ResNet 아키텍처의 견고함은 다양한 시각적 작업에 있어 가장 선호되는 선택이 되게 했습니다.

• 의료 영상 분석: 의료 분야에서 고해상도 스캔에서 미세한 이상을 식별하는 것은 매우 중요합니다. ResNet 기반 모델은 종양 검출과 같은 detect 데 자주 활용되며, 이러한 의료 영상 분석에서 네트워크의 깊이는 MRI 또는 CT 데이터 내 미세한 패턴을 식별하는 데 도움이 됩니다.
• 자율주행 차량: 자율주행 차량은 보행자, 표지판 및 장애물을 식별하기 위해 카메라 영상으로부터 신뢰할 수 있는 특징 추출이 필요합니다. ResNet은 자동차 애플리케이션의 AI 객체 탐지 시스템에서 백본 역할을 수행하며, 안전한 주행을 위해 필요한 풍부한 시각적 특징을 제공합니다.

ResNet vs. 기타 아키텍처

ResNet의 특정한 유용성을 이해하기 위해서는 다른 인기 있는 아키텍처와 구분하는 것이 도움이 됩니다.

• ResNet 대 VGG: VGG(Visual Geometry Group) 네트워크 역시 심층 CNN이지만 잔차 연결이 없습니다. 결과적으로 ResNet과 유사한 깊이에서 훈련하기가 훨씬 어렵고, 대규모의 완전 연결 레이어 때문에 일반적으로 더 많은 연산 비용이 듭니다.
• ResNet 대 Inception: Inception 네트워크는 너비에 중점을 두어, 동일한 레이어 내에서 다양한 크기의 필터를 사용하여 서로 다른 스케일의 특징을 포착합니다. ResNet은 깊이에 중점을 둡니다. Inception-ResNet과 같은 현대적 아키텍처는 두 개념을 모두 결합합니다.
• ResNet 대 Vision Transformer (ViT): ViT는 자기 주의 메커니즘을 사용하여 이미지를 전역적으로 처리하는 반면, ResNet은 국소적 컨볼루션에 의존합니다. 그러나 ResNet은 여전히 강력한 기준 모델이며, 소규모 데이터셋이나 실시간 추론에서는 종종 더 빠른 성능을 보입니다.

구현 예시

PyTorch 같은 현대적인 딥러닝 라이브러리를 PyTorch 사전 훈련된 ResNet 모델에 쉽게 접근할 수 PyTorch . 이러한 모델은 전송 학습에 매우 유용합니다. 전송 학습에서는 대규모 데이터셋(예: ImageNet 과 같은 대규모 데이터셋에서 훈련된 모델을 특정 작업에 맞게 미세 조정하는 과정입니다.

다음 Python 사전 훈련된 ResNet-50 모델을 로드하는 방법을 보여줍니다. torchvision ( PyTorch 일부)를 사용하고 간단한 전방 전파를 수행합니다. 반면 Ultralytics 플랫폼 자주 사용할 수 있다 YOLO26 탐지를 위해, ResNet과 같은 기본적인 백본 개념을 이해하는 것은 고급 맞춤화에 매우 중요합니다.

import torch
import torchvision.models as models

# Load a pre-trained ResNet-50 model
resnet50 = models.resnet50(weights=models.ResNet50_Weights.DEFAULT)
resnet50.eval()  # Set model to evaluation mode

# Create a dummy input tensor (batch_size, channels, height, width)
input_tensor = torch.randn(1, 3, 224, 224)

# Perform a forward pass to get predictions
with torch.no_grad():
    output = resnet50(input_tensor)

print(f"Output shape: {output.shape}")  # Expect [1, 1000] for ImageNet classes

현대 인공지능에서의 중요성

YOLO26과 같은 최신 아키텍처는 최대 속도와 정확도를 위해 고도로 최적화된 구조를 채택하지만, 잔차 학습의 원리는 여전히 보편적으로 적용됩니다. 스킵 연결 개념은 이제 자연어 처리(NLP)에 사용되는 트랜스포머와 최신 객체 탐지 모델을 포함한 많은 고급 네트워크의 표준 구성 요소가 되었습니다. 네트워크를 통해 정보가 더 자유롭게 흐르도록 함으로써 ResNet은 오늘날의 인공 지능을 구동하는 깊고 복잡한 모델의 길을 열었습니다. (NLP) 및 최신 객체 탐지 모델에 이르기까지 많은 고급 네트워크의 표준 구성 요소입니다. ResNet은 네트워크를 통해 정보가 더 자유롭게 흐르도록 함으로써 오늘날의 인공지능을 구동하는 깊고 복잡한 모델의 길을 열었습니다.