Backbone

백본은 원시 입력을 모델의 나머지 부분에 전달할 특성 맵으로 변환하는 신경망의 구성 요소입니다. 컴퓨터 비전에서 백본은 보통 합성곱 신경망(CNN)이나 대규모 ImageNet 데이터셋으로 사전 학습된 비전 트랜스포머(ViT)입니다. 일반적으로 넥과 작업별 헤드로 구성되는 후속 레이어는 특성을 클래스 라벨, 바운딩 박스, 마스크 또는 키포인트로 변환합니다. 백본, 인코더, 특성 추출기는 동의어처럼 사용되는 경우가 많습니다. 인코더-디코더 모델에서는 인코더라는 명칭을 주로 사용하며 U-Net이 그 예입니다.

백본의 작동 방식#

비전 백본은 이미지를 여러 단계로 처리합니다. 각 단계에서는 합성곱 또는 어텐션 블록을 쌓아 적용한 다음 공간 해상도를 절반으로 줄이고 보통 채널 수를 늘립니다. 따라서 640×640 입력은 스트라이드 8에서 80×80 맵, 스트라이드 16에서 40×40 맵, 스트라이드 32에서 20×20 맵으로 변환됩니다. 초기 단계는 모서리, 색상, 텍스처에 반응합니다. 이후 단계는 객체의 일부와 전체 객체에 반응합니다. 각 출력 위치가 입력 이미지의 더 넓은 수용 영역을 포함하기 때문입니다. 감지 및 분할 모델은 마지막 세 단계를 활용해 특성 피라미드 네트워크(FPN)와 같은 넥에 전달합니다. 이를 통해 모델은 고해상도 맵에서 작은 객체를, 저해상도 맵에서 큰 객체를 찾을 수 있습니다.

백본, 넥, 헤드 비교#

대부분의 현대적인 객체 감지 아키텍처는 세 부분으로 나뉘며, 구성 요소를 바꾸거나 레이어를 고정할 때 각 부분의 경계가 중요합니다.

• 백본: 특성 추출을 수행해 여러 해상도의 특성 맵을 생성합니다. 여러 작업과 데이터셋에 전이할 수 있는 일반적인 시각 지식을 담고 있습니다.
• 넥: 백본의 여러 스케일을 융합해 각 출력 수준이 정밀한 공간 세부 정보와 고수준 의미를 모두 갖도록 합니다. FPN은 하향식 경로를 추가하고 PANet은 그 뒤에 상향식 경로를 하나 더 추가합니다. 분류 모델은 일반적으로 넥이 없으며, 백본의 마지막 단계를 풀링해 하나의 벡터로 만듭니다.
• 헤드: 융합된 각 특성 맵을 작업별 출력으로 변환합니다. 감지 헤드는 박스와 클래스 점수를 예측하고, 분할 및 포즈 헤드는 같은 유형의 특성에서 마스크와 키포인트를 예측합니다.

일반적인 백본 계열#

• ResNet: 잔차 연결을 통해 신호가 블록을 건너뛸 수 있으므로 최대 152개 레이어로 구성된 네트워크도 학습할 수 있습니다. ResNet 앙상블은 ILSVRC 2015 분류 과제에서 우승했습니다. ResNet-50은 여전히 디텍터 비교를 위한 표준 기준 백본입니다.
• CSPNet: 교차 단계 부분 네트워크는 각 단계의 채널 중 일부만 해당 단계의 블록에 통과시키고 나머지는 마지막에 다시 합칩니다. 이를 통해 ImageNet 정확도를 유지하거나 높이면서 연산량을 20% 줄였습니다. YOLOv4의 백본인 CSPDarknet53은 이러한 단계로 구성됩니다.
• ConvNeXt: 큰 커널과 더 적은 정규화 레이어 등 트랜스포머에서 가져온 설계 방식을 적용해 현대화한 ResNet입니다. ImageNet 톱-1 정확도 87.8%를 달성하고 COCO 감지에서 Swin Transformer보다 뛰어난 성능을 보였습니다.
• ViT 및 Swin Transformer: 일반적인 ViT는 처음부터 끝까지 단일 해상도를 유지하므로 감지 모델은 대신 Swin을 사용하는 경우가 많습니다. Swin은 이동하는 로컬 윈도우 안에서 어텐션을 계산해 CNN과 유사한 단계별 계층 구조를 생성합니다.
• 자기지도 학습 기반 파운데이션 백본: DINOv3는 라벨이 없는 이미지 17억 장으로 70억 개 파라미터를 가진 ViT를 학습합니다. 백본을 고정해도 분할이나 깊이 추정과 같은 고밀도 작업에서 우수한 성능을 내는 특성을 생성합니다.

사전 학습된 백본과 전이 학습#

백본을 처음부터 학습하려면 대규모 데이터셋과 긴 학습 일정이 필요하므로 대부분의 프로젝트는 사전 학습 가중치에서 시작합니다. 이러한 전이 학습이 효과적인 이유는 한 데이터셋에서 학습한 모서리, 텍스처, 형태가 대부분의 다른 데이터셋에도 유용하기 때문입니다. 사전 학습 도메인과 유사한 소규모 데이터셋에서는 백본을 고정하면 일반적인 특징을 보존하고 과적합을 줄이며 학습 메모리도 절감합니다. 고정된 계층은 경사나 옵티마이저 상태를 저장하지 않기 때문입니다. 데이터셋이 크거나 X선 또는 열화상처럼 도메인 차이가 크면 백본도 미세 조정하여 특징을 적응시킬 수 있습니다. YOLO26에서 백본은 계층 0~10(스트라이드 합성곱, C3k2 블록, SPPF 풀링 블록, C2PSA 어텐션 블록)으로 구성됩니다. freeze=11 학습 인수는 백본 전체를 고정해 넥과 탐지 헤드만 업데이트합니다. 이 설정은 미세 조정 가이드에서 자세히 설명합니다.

from ultralytics import YOLO

# COCO로 사전 학습된 YOLO26 감지 모델을 불러옵니다.
model = YOLO("yolo26n.pt")

# 백본 전체(레이어 0-10)를 고정한 채 소규모 데이터셋으로 파인튜닝합니다.
results = model.train(data="coco8.yaml", epochs=3, imgsz=640, freeze=11)

트레이너는 첫 번째 에포크 전에 Freezing layer 'model.0.conv.weight'을 기록하고, 레이어 0–10의 다른 각 매개변수에 대해서도 해당 줄을 기록합니다. 이 매개변수는 넥과 헤드가 새 데이터를 학습하는 동안 고정된 상태를 유지합니다.