Feature Pyramid Network (FPN)

Feature Pyramid Network(FPN)은 현대적인 컴퓨터 비전(CV) 시스템에서 다양한 스케일의 객체 탐지 능력을 향상시키기 위해 사용되는 특수 아키텍처 구성 요소입니다. 이는 이미지 분석에서 오랫동안 해결하기 어려웠던 문제, 즉 동일한 이미지 내에서 크고 눈에 띄는 구조물과 작고 먼 곳에 있는 세부 사항을 모두 인식해야 하는 문제를 효과적으로 해결합니다. FPN은 피라미드와 개념적으로 유사한 다중 스케일 입력을 생성함으로써 신경망이 모든 해상도 수준에서 풍부한 의미론적(semantic) 정보를 추출할 수 있도록 합니다. 이 아키텍처는 일반적으로 원시 특징을 추출하는 **백본(backbone)**과 객체 클래스 및 바운딩 박스를 예측하는 탐지 헤드(detection head) 사이에 위치합니다.

Link to this sectionFeature Pyramid Network 작동 방식#

FPN의 핵심 혁신은 정보 처리 방식에 있습니다. 기존 **컨벌루션 신경망(CNN)**은 입력 이미지를 점진적으로 다운샘플링하면서 특징 계층 구조를 자연스럽게 생성합니다. 이는 의미론적 이해(이미지에 무엇이 있는지 파악)를 깊게 하지만, 종종 공간 해상도(정확히 어디에 있는지 파악)를 저하시켜 작은 객체가 사라지게 만듭니다.

FPN은 3단계 프로세스를 통해 이 문제를 해결합니다:

1. 상향식 경로(Bottom-Up Pathway): 이는 **Residual Network (ResNet)**과 같은 네트워크의 표준 피드포워드 패스입니다. 네트워크가 이미지를 처리함에 따라 크기는 줄어들지만 의미론적 가치는 높아지는 **특징 맵(feature maps)**을 생성합니다.

2. 하향식 경로(Top-Down Pathway): 네트워크는 더 깊은 층에서 의미론적으로 풍부한 특징들을 업샘플링하여 더 높은 해상도의 피라미드를 구성합니다. 이 단계는 더 큰 공간 맵에 강력한 컨텍스트 정보를 다시 "환기(hallucinate)"시킵니다.

3. 측면 연결(Lateral Connections): 다운샘플링 과정에서 손실된 선명한 세부 정보를 복구하기 위해, FPN은 측면 연결을 통해 업샘플링된 특징들을 상향식 경로의 원본 고해상도 맵과 결합합니다.

이러한 조합은 모든 수준에서 강력한 의미론적 정보와 우수한 위치 정보를 갖춘 피라미드를 생성하며, 결과적으로 모든 객체 크기에 걸쳐 **정밀도(precision)**와 **재현율(recall)**을 크게 향상시킵니다.

Link to this section객체 탐지 아키텍처에서의 중요성#

FPN은 현대 **객체 탐지 아키텍처**의 초석입니다. FPN 도입 이전에 모델들은 속도(마지막 레이어만 사용)와 정확도(매우 느린 이미지 피라미드 처리) 사이에서 선택해야 했습니다. FPN은 두 방식의 장점을 모두 제공하며, 작은 객체 탐지 성능을 희생하지 않으면서도 **실시간 추론(real-time inference)**을 가능하게 합니다.

이러한 효율성은 **YOLO26**과 같은 최첨단 모델에 매우 중요합니다. 이 모델은 최신 성능을 달성하기 위해 FPN 원리(PANet 등)에서 영감을 받은 정교한 집계 네트워크를 활용합니다. 이 아키텍처는 모델이 에지 장치에 배포되든 **Ultralytics Platform**을 통해 강력한 서버에 배포되든 관계없이 다양한 데이터셋에서 높은 정확도를 유지하도록 보장합니다.

Link to this section실제 애플리케이션 사례#

FPN의 다중 스케일 기능은 안전과 정밀도가 중요한 산업에서 필수적입니다.

• 자동차 AI: 자율 주행 차량은 가까이 있는 대형 트럭과 멀리 있는 작은 신호등 또는 보행자를 동시에 추적해야 합니다. FPN을 사용하면 인식 스택이 이러한 이질적인 스케일을 한 번의 패스로 처리하여 시기적절한 의사결정을 보장할 수 있습니다. **nuScenes**와 같은 데이터셋은 이러한 기능을 벤치마킹하는 데 자주 사용됩니다.
• 의료 영상 분석: 진단 영상에서 병변을 탐지하려면 크기가 크게 다른 이상 징후를 발견해야 합니다. FPN이 탑재된 모델은 **MRI 스캔**에서 큰 장기 구조와 아주 작은 초기 단계의 종양을 모두 식별할 수 있어 방사선 전문의의 정확한 진단을 돕습니다.
• 농업 AI: 정밀 농업은 드론 영상에서 작물과 해충을 탐지하는 것에 의존합니다. 드론의 고도가 달라질 수 있으므로 이미지 내 식물의 크기도 변합니다. FPN은 모델이 카메라 높이에 관계없이 **객체 카운팅**을 정확하게 수행하며 우수한 일반화 성능을 발휘하도록 돕습니다.

Link to this sectionFPN vs. 기타 특징 집계 기법#

표준 FPN과 새로운 아키텍처에서 발견되는 발전된 변형 모델들을 구분하는 것이 유용합니다.

• FPN vs. PANet: FPN은 특징을 강화하기 위해 하향식 경로를 추가하는 반면, **Path Aggregation Network (PANet)**은 FPN 위에 추가적인 상향식 경로를 더합니다. 이는 하위 수준 특징에 대한 정보 경로를 단축하여 위치 파악 성능을 더욱 향상시키며, YOLO 모델에서 자주 채택되는 기술입니다.
• FPN vs. BiFPN: EfficientDet에서 볼 수 있는 **양방향 특징 피라미드 네트워크(BiFPN)**은 서로 다른 특징에 학습 가능한 가중치를 도입하고 입력이 하나뿐인 노드를 제거하여 효율성을 위해 네트워크를 최적화합니다.

Link to this section실용적인 예시#

ultralytics와 같은 고급 라이브러리는 FPN 구성의 복잡성을 내부적으로 처리합니다. YOLO26과 같은 모델을 로드하면 아키텍처는 성능을 극대화하기 위해 이러한 특징 집계 계층을 자동으로 포함합니다.

from ultralytics import YOLO

# Load the YOLO26 model, which uses advanced feature pyramid principles internally
# The 'n' suffix indicates the nano version, optimized for speed
model = YOLO("yolo26n.pt")

# Perform inference on an image containing objects of various sizes
# The model's neck (FPN-based) aggregates features to detect small and large items
results = model("https://ultralytics.com/images/bus.jpg")

# Display results to see bounding boxes around buses (large) and people (small)
results[0].show()