피라미드 네트워크(FPN)

특징 피라미드 네트워크(FPN)는 딥러닝 모델, 특히 객체 감지 아키텍처의 구성 요소로 다양한 규모의 객체 감지를 개선하기 위해 설계되었습니다. 주어진 이미지에서 물체는 크기와 카메라로부터의 거리에 따라 크게 또는 작게 나타날 수 있습니다. FPN은 피처의 다중 스케일 표현을 효율적으로 생성하여 모델이 멀리 있는 작은 자동차와 가까이 있는 큰 트럭을 동시에 높은 정확도로 인식할 수 있도록 함으로써 이러한 문제를 해결합니다. 이는 주요 특징 추출기와 네트워크의 최종 예측 구성 요소 사이의 다리, 즉 '목' 역할을 합니다.

피처 피라미드 네트워크의 작동 방식

FPN은 저해상도의 의미적으로 강한 특징과 고해상도의 의미적으로 약한 특징을 결합하는 방식으로 작동합니다. 이 프로세스는 일반적으로 두 개의 경로와 측면 연결이 있는 구조를 통해 이루어집니다.

1. 상향식 경로: 이는 모델의 중추 역할을 하는 합성곱 신경망(CNN)의 표준 포워드 패스입니다. 이미지가 연속적인 레이어를 통과함에 따라 결과 피처 맵의 공간 크기는 감소하지만 의미론적 깊이는 증가하여 보다 추상적인 개념을 포착합니다.
2. 하향식 경로: 그런 다음 네트워크는 가장 깊은 레이어(작지만 정보가 풍부한)에서 피처 맵을 가져와 업샘플링을 시작합니다.
3. 측면 연결: 하향식 경로가 더 큰 특징 맵을 재구성할 때, 상향식 경로의 해당 특징 맵과 병합합니다. 이 융합은 업샘플링된 레이어에 이전 레이어의 더 세밀하고 국소화된 디테일을 더 풍부하게 합니다. 그 결과 의미론과 공간적 디테일이 모두 풍부한 피처 맵의 '피라미드'가 만들어지고, 이 피처 맵은 예측을 위해 탐지 헤드에 공급됩니다. 이 프로세스에 대한 자세한 기술 설명은 FPN 연구 논문 원본에서 확인할 수 있습니다.

객체 감지에서 FPN의 역할

일반적인 객체 감지 모델에서 아키텍처는 백본, 목, 머리로 나뉩니다. FPN은 목 구성 요소로 많이 사용됩니다. 주요 역할은 최종 감지 작업에 사용하기 전에 백본에서 추출한 피처를 집계하는 것입니다. FPN은 풍부한 멀티스케일 특징 표현을 제공함으로써 YOLO11과 같은 모델이 다양한 객체 크기에 걸쳐 강력하게 작동할 수 있도록 합니다. 이 접근 방식은 백본의 단일 포워드 패스에서 계산된 특징을 재사용하므로 여러 해상도로 이미지를 개별적으로 처리하는 것보다 계산적으로 더 효율적입니다. 다양한 YOLO 모델 비교에서 볼 수 있듯이 많은 최신 모델이 이 개념을 활용하고 있습니다.

실제 애플리케이션

FPN은 멀티스케일 객체 감지가 중요한 많은 최신 컴퓨터 비전(CV) 애플리케이션에 필수적인 요소입니다.

• 자율주행 차량: 자율주행차는 다양한 거리에서 보행자, 차량, 교통 표지판, 차선 표시를 감지해야 합니다. FPN은 카네기 멜론 대학과 같은 기관의 리소스에 자세히 설명된 차량의 인식 시스템이 멀리 있는 보행자와 가까운 차량을 같은 프레임 내에서 식별하는 데 도움을 주며, 이는 안전한 주행에 필수적인 요소입니다.
• 의료 이미지 분석: 방사선과에서 FPN은 의료 스캔을 분석하여 작은 병변이나 큰 종양과 같은 다양한 크기의 이상 징후를 감지하는 데 도움을 줄 수 있습니다. 미국 국립보건원(NIH)에서 발표한 연구에서 논의된 바와 같이 병리학 및 종양학과 같은 분야에서 이러한 멀티스케일 기능을 통해 보다 포괄적이고 정확한 자동 진단을 수행할 수 있습니다.

FPN과 BiFPN

FPN은 상당한 발전을 이루었지만, 최근의 아키텍처는 이 개념을 더욱 발전시켰습니다. 주목할 만한 예로는 Google Research의 EfficientDet 논문에서 소개한 양방향 피처 피라미드 네트워크(BiFPN)가 있습니다. FPN의 단순한 하향식 경로와 달리 BiFPN은 양방향 연결(하향식 및 상향식 모두)을 도입하고 가중치 기능 융합을 사용하여 네트워크가 다양한 입력 기능의 중요성을 학습할 수 있도록 합니다. 이는 종종 더 나은 성능과 효율성으로 이어지며, EfficientDet 대 YOLO11와 같은 비교에서 잘 드러납니다. FPN은 기본 개념이지만, BiFPN은 멀티스케일 특징 융합에 대한 보다 발전되고 최적화된 접근 방식을 나타냅니다.