Residual Networks (ResNet)

ResNet으로 널리 알려진 잔차 네트워크는 매우 깊은 네트워크의 학습을 가능하게 하도록 설계된 특정 유형의 인공 신경망(ANN) 아키텍처입니다. 2015년 Microsoft 연구원들에 의해 도입된 ResNet은 기울기 소실 문제(vanishing gradient problem)로 알려진 딥러닝의 결정적인 병목 현상을 해결했습니다. 기존 네트워크에서는 레이어를 쌓을수록 모델 가중치(model weights)를 업데이트하는 데 필요한 신호가 레이어를 거쳐 역전파되는 과정에서 사라지기 때문에 성능이 포화되거나 저하되는 경우가 많았습니다. ResNet은 데이터가 하나 이상의 레이어를 건너뛰고 후속 처리 단계로 직접 흐를 수 있도록 하는 "스킵 연결(skip connections)"(또는 잔차 연결)을 도입했습니다. 이 혁신은 더 깊은 네트워크를 효과적으로 학습시킬 수 있음을 입증했으며, 컴퓨터 비전(CV) 분야에서 중요한 돌파구를 마련하고 현대 아키텍처의 기초 개념이 되었습니다.

Link to this section핵심 개념: 잔차 학습(Residual Learning)#

ResNet의 정의적인 특징은 "잔차 블록(residual block)"입니다. 표준 합성곱 신경망(CNN)에서는 각 레이어가 입력에서 출력으로의 직접적인 매핑을 학습하려고 시도합니다. 네트워크가 깊어질수록 이러한 직접적인 매핑을 학습하는 것은 점점 더 어려워집니다.

ResNet은 학습 목표를 다르게 공식화하여 이 접근 방식을 변경합니다. 각 레이어 스택이 전체 기반 매핑을 학습하기를 기대하는 대신, 잔차 블록은 레이어가 입력과 원하는 출력 사이의 "잔차(residual)" 또는 차이를 학습하도록 강제합니다. 그런 다음 원래 입력은 스킵 연결을 통해 학습된 잔차에 다시 더해집니다. 이러한 구조적 변화는 항등 매핑(입력을 변경하지 않고 통과시키는 것)이 최적일 경우, 네트워크가 잔차를 쉽게 0으로 밀어내도록 학습할 수 있음을 의미합니다. 이로 인해 딥러닝(DL) 모델을 최적화하기가 훨씬 쉬워졌으며, 수십 개에서 수백 개, 심지어 수천 개의 레이어까지 확장할 수 있게 되었습니다.

Link to this section주요 아키텍처 변형#

출시 이후, 여러 ResNet 변형이 AI 커뮤니티의 표준 벤치마크가 되었습니다.

• ResNet-50: "병목(bottleneck)" 설계를 활용하는 50개 레이어 버전입니다. 이 설계는 1x1 합성곱을 사용하여 차원을 축소했다가 다시 복원함으로써 높은 정확도(accuracy)를 유지하면서도 계산 효율성을 높입니다.
• ResNet-101 및 ResNet-152: 각각 101개와 152개의 레이어를 가진 더 깊은 변형입니다. 이러한 모델은 계산 자원이 더 복잡한 모델을 수용할 수 있어 더 정교한 특성 맵(feature maps)을 캡처해야 할 때 주로 사용됩니다.
• ResNeXt: 잔차 블록을 여러 병렬 경로로 분할하여 "카디널리티(cardinality)" 차원을 도입함으로써 효율성과 성능을 향상시킨 ResNet의 발전된 형태입니다.

Link to this section실제 애플리케이션 사례#

ResNet 아키텍처의 견고함 덕분에 다양한 시각적 작업에서 가장 선호되는 선택지가 되었습니다.

• 의료 영상 분석(Medical Image Analysis): 의료 분야에서는 고해상도 스캔에서 미세한 이상 징후를 식별하는 것이 중요합니다. ResNet 기반 모델은 의료 영상의 종양 탐지와 같은 질환을 감지하는 데 자주 사용되며, 여기서 네트워크의 깊이는 MRI나 CT 데이터의 세밀한 패턴을 파악하는 데 도움을 줍니다.
• Autonomous Vehicles: Self-driving cars require reliable feature extraction from camera feeds to identify pedestrians, signs, and obstacles. ResNets often serve as the backbone for object detection systems in AI in automotive applications, providing the rich visual features needed for safe navigation.

Link to this sectionResNet과 다른 아키텍처 비교#

ResNet의 구체적인 용도를 이해하기 위해 다른 인기 있는 아키텍처와 구별하는 것이 도움이 됩니다.

• ResNet vs. VGG: VGG(Visual Geometry Group) 네트워크 역시 깊은 CNN이지만 잔차 연결이 부족합니다. 결과적으로 ResNet과 비슷한 깊이에서 학습하기가 훨씬 어렵고 대규모 완전 연결 레이어(fully connected layers) 때문에 일반적으로 계산 비용이 더 많이 듭니다.
• ResNet vs. Inception: Inception 네트워크는 너비에 집중하며, 동일한 레이어 내에서 여러 크기의 필터를 사용하여 다양한 규모의 특징을 캡처합니다. ResNet은 깊이에 집중합니다. Inception-ResNet과 같은 현대적인 아키텍처는 두 개념을 결합합니다.
• ResNet vs. 비전 트랜스포머(ViT): ViT는 셀프 어텐션 메커니즘을 사용하여 이미지를 전역적으로 처리하는 반면, ResNet은 로컬 합성곱에 의존합니다. 하지만 ResNet은 여전히 강력한 기준 모델로 남아 있으며, 데이터셋이 작거나 실시간 추론(inference)이 필요한 경우 종종 더 빠르게 작동합니다.

Link to this section구현 예시#

PyTorch와 같은 현대적인 딥러닝 라이브러리를 사용하면 사전 학습된 ResNet 모델에 쉽게 액세스할 수 있습니다. 이러한 모델은 전이 학습(transfer learning)에 매우 유용하며, ImageNet과 같은 대규모 데이터셋에서 학습된 모델을 특정 작업을 위해 미세 조정(fine-tuning)할 수 있습니다.

다음 Python 코드 조각은 torchvision(PyTorch 생태계의 일부)을 사용하여 사전 학습된 ResNet-50 모델을 로드하고 간단한 순전파(forward pass)를 수행하는 방법을 보여줍니다. Ultralytics 플랫폼 사용자는 종종 탐지를 위해 YOLO26을 사용할 수 있지만, 고급 커스터마이징을 위해서는 ResNet과 같은 기본 백본 개념을 이해하는 것이 중요합니다.

import torch
import torchvision.models as models

# Load a pre-trained ResNet-50 model
resnet50 = models.resnet50(weights=models.ResNet50_Weights.DEFAULT)
resnet50.eval()  # Set model to evaluation mode

# Create a dummy input tensor (batch_size, channels, height, width)
input_tensor = torch.randn(1, 3, 224, 224)

# Perform a forward pass to get predictions
with torch.no_grad():
    output = resnet50(input_tensor)

print(f"Output shape: {output.shape}")  # Expect [1, 1000] for ImageNet classes

Link to this section현대 AI에서의 중요성#

YOLO26과 같은 새로운 아키텍처는 최대 속도와 정확도를 위해 최적화된 구조를 사용하지만, 잔차 학습의 원리는 여전히 도처에 존재합니다. 스킵 연결의 개념은 이제 자연어 처리(NLP)에 사용되는 트랜스포머 및 최신 객체 탐지 모델을 포함한 많은 고급 네트워크의 표준 구성 요소입니다. 정보가 네트워크를 통해 더 자유롭게 흐르도록 함으로써, ResNet은 오늘날의 인공 지능을 구동하는 깊고 복잡한 모델들을 위한 길을 열었습니다.