잔여 네트워크(ResNet)

일반적으로 ResNet으로 알려진 잔여 네트워크는 딥 러닝 분야에 지대한 영향을 미친 획기적인 유형의 신경망(NN) 아키텍처입니다. 2015년 논문'이미지 인식을 위한 심층 잔여 학습'에서 Kaiming He 등이 소개한 ResNet은 수백, 수천 개의 레이어로 구성된 매우 심층적인 신경망을 효과적으로 훈련할 수 있게 해 주었습니다. 이는 매우 심층적인 네트워크를 괴롭히는 소실 그라데이션 문제를 완화하는 간단하면서도 강력한 개념인 '연결 건너뛰기'가 포함된 '잔여 블록'을 도입함으로써 달성할 수 있었습니다.

ResNet 작동 방식

ResNet의 핵심 혁신은 건너뛰기 연결 또는 바로가기를 사용하는 것입니다. 기존의 컨볼루션 신경망(CNN)에서는 각 계층이 순차적으로 다음 계층에 직접 출력을 공급합니다. 네트워크가 깊어질수록 네트워크가 학습하고 학습 중에 기울기가 다시 전파되는 것이 점점 더 어려워집니다. 이로 인해 레이어를 더 추가하면 실제로 모델의 성능이 저하되는 상황이 발생할 수 있습니다.

ResNet은 레이어(또는 레이어 블록)의 입력을 출력에 추가할 수 있도록 하여 이 문제를 해결합니다. 이 스킵 연결은 그라디언트가 통과할 수 있는 대체 경로를 생성하여 매우 깊은 네트워크도 효과적으로 학습할 수 있도록 합니다. 이 구조를 통해 네트워크는 잔차 함수를 학습할 수 있으며, 기본적으로 레이어는 전체 변환이 아닌 입력의 변화 또는 잔차만 학습하면 됩니다. 어떤 레이어가 유익하지 않은 경우, 네트워크는 해당 레이어의 가중치를 0으로 설정하여 무시하는 방법을 쉽게 학습할 수 있으므로 ID 매핑이 스킵 연결을 통해 전달될 수 있습니다.

ResNet과 다른 아키텍처 비교

• 표준 CNN: 표준 순차 CNN과 달리 ResNet은 잔여 학습 덕분에 성능 저하 없이 훨씬 더 깊게 성장할 수 있습니다. 이러한 깊이를 통해 더 복잡한 특징을 학습하고 까다로운 작업에서 더 높은 정확도를 달성할 수 있습니다.
• U-Net: U-Net도 스킵 연결을 사용하지만 그 목적은 다릅니다. U-Net에서 스킵 연결은 다운 샘플링 경로에서 업 샘플링 경로로 레이어를 연결하여 정밀한 이미지 분할을 위한 공간 정보를 복구합니다. ResNet에서는 일반적으로 연결이 더 짧고 그라데이션 흐름을 개선하고 더 깊은 아키텍처를 구현할 수 있도록 설계됩니다.

실제 애플리케이션

ResNet의 강력한 특징 추출 기능 덕분에 많은 복잡한 컴퓨터 비전 작업의 백본으로 널리 사용되고 있습니다.

• 의료 이미지 분석: 의료용 AI에서 ResNet 아키텍처는 엑스레이, CT, MRI와 같은 의료 스캔을 분석하는 데 사용됩니다. 예를 들어, ResNet 기반 모델을 뇌 스캔 데이터 세트에 학습시켜 방사선 전문의의 종양 조기 발견을 지원함으로써 진단 정확도와 속도를 향상시킬 수 있습니다.
• 자율 주행: 자율 주행 차량의 시스템은 실시간 인식을 위해 강력한 백본에 의존합니다. ResNet은 종종 물체 감지를 위한 카메라 입력을 처리하고 보행자, 차량, 교통 표지판을 식별하는 데 사용되며, 이는 Waymo와 같은 회사에서 개발한 안전한 내비게이션 시스템에 매우 중요합니다.

도구 및 구현

ResNet 아키텍처는 PyTorch와 TensorFlow와 같은 주요 딥 러닝 프레임워크에서 널리 구현되고 있습니다. 대규모 ImageNet 데이터 세트에서 학습된 사전 훈련된 모델은 토치비전과 같은 라이브러리를 통해 쉽게 사용할 수 있어 맞춤형 애플리케이션을 위한 효과적인 전이 학습을 용이하게 합니다. Ultralytics HUB와 같은 플랫폼을 통해 사용자는 ResNet 기반 모델을 포함한 다양한 아키텍처를 활용하여 특정 요구 사항에 맞는 맞춤형 모델을 학습할 수 있습니다. ResNet은 강력한 성능 기준선을 설정했지만, 이후 더 나은 효율성을 제공하기 위해 EfficientNet과 같은 최신 아키텍처가 개발되었습니다. CNN에 대한 더 많은 교육 리소스는 스탠퍼드대학교의 CS231n 강좌 또는 DeepLearning.AI와 같은 제공업체의 강좌를 통해 찾을 수 있습니다.