Transfer Learning

전이 학습은 한 작업으로 학습한 모델을 관련 작업의 시작점으로 재사용하는 머신러닝 기법입니다. 무작위 가중치에서 신경망을 학습하려면 대규모 라벨링 데이터셋과 상당한 연산 자원이 필요하지만, 수백만 개 이미지로 사전 학습된 모델은 대부분의 새로운 작업에 필요한 시각적 특징을 이미 학습했습니다. 이렇게 학습된 모델 가중치에서 시작하면 훨씬 적은 라벨링 이미지와 짧은 학습 시간으로도 높은 정확도를 달성할 수 있습니다. 이 때문에 전이 학습은 맞춤형 작업을 위한 컴퓨터 비전 모델을 구축하는 기본 방식입니다.

전이 학습의 작동 방식#

전이 학습이 효과적인 이유는 딥 네트워크가 계층 구조로 특징을 학습하기 때문입니다. 백본의 첫 번째 레이어는 거의 모든 이미지에 나타나는 가장자리, 색상, 텍스처에 반응하는 반면, 더 깊은 레이어는 이러한 특징을 결합해 객체의 부분과 작업별 개념을 형성합니다. Yosinski et al.의 연구는 합성곱 네트워크에서 이러한 진행 과정을 측정했습니다. 첫 번째 레이어의 특징은 일반적이고, 높은 레이어에서는 원래 작업에 맞게 특징이 전문화되면서 전이 가능성이 낮아지며, 새로운 데이터셋으로 미세 조정한 후에도 전이된 특징이 일반화 성능을 향상한다는 사실을 밝혔습니다.

이 과정은 두 단계로 이루어집니다:

1. 사전 학습: 모델은 ImageNet, COCO 또는 Objects365와 같은 대규모 벤치마크 데이터셋에서 일반적인 표현을 학습해 사전 학습된 가중치 집합을 생성합니다.
2. 적응: 분류기나 디텍션 헤드와 같은 출력 레이어를 새로운 클래스에 맞게 교체하거나 크기를 조정한 후, 대상 데이터셋으로 학습합니다. 특징 추출에서는 사전 학습된 레이어를 고정하고 새 레이어만 학습합니다. 미세 조정에서는 사전 학습된 레이어의 일부 또는 전부도 업데이트하며, 일반적으로 더 낮은 학습률을 사용합니다.

네트워크를 얼마나 재학습할지는 두 가지 질문에 따라 달라집니다. 새로운 작업에 라벨링 데이터가 얼마나 있는지, 그리고 사전 학습 데이터와 얼마나 유사한지입니다. Stanford CS231n 강의 노트에서는 이에 따른 네 가지 경우를 설명합니다:

객체 탐지를 위한 전이 학습#

감지 모델은 거의 항상 전이 학습으로 학습됩니다. 공식 YOLO26 체크포인트는 COCO에서 파인튜닝하기 전에 Objects365로 150에포크 동안 사전 학습되며, 이는 YOLO26 학습 레시피에 설명되어 있습니다. 새 데이터 세트로 로드된 체크포인트에서 train()를 호출하면 호환되는 가중치를 모두 전이하고, 클래스 수가 바뀌면 클래스별 출력 행을 초기화하되 클래스 이름이 일치하는 행은 유지합니다. 또한 초기 레이어를 고정하는 freeze 인수를 사용할 수 있으며, 이는 작은 데이터 세트에서 특히 유용합니다.

from ultralytics import YOLO

# COCO의 80개 클래스로 사전 학습된 YOLO26n 가중치를 로드합니다
model = YOLO("yolo26n.pt")

# 새로운 단일 클래스 데이터셋에 맞게 조정합니다. freeze=10은 처음 10개 레이어를 고정합니다
results = model.train(data="medical-pills.yaml", epochs=20, freeze=10)

사전 학습된 백본은 이미 형태, 가장자리, 텍스처를 감지하므로 Medical Pills 데이터셋의 라벨링된 학습 이미지 92개만으로도 알약의 모습을 학습할 수 있습니다.

전이 학습과 관련 용어#

• 미세 조정: 전이 학습을 수행하는 한 가지 방법으로, 사전 학습된 가중치를 새 데이터에 대해 계속 업데이트합니다. 백본을 고정한 상태로 수행하는 특징 추출이 다른 주요 방법입니다.
• 도메인 적응: 작업은 동일하지만 데이터 분포가 달라지는 전이 학습의 한 형태입니다. 예를 들어 낮에 촬영한 이미지에서 밤에 촬영한 이미지로 전환하는 경우가 있으며, 대상 라벨이 거의 없거나 아예 없을 때 자주 사용됩니다.
• 제로샷 학습 및 퓨샷 학습: 전체 적응 단계 대신 사전 학습된 모델의 일반 지식에 의존해, 라벨링된 예제가 전혀 없거나 몇 개뿐인 새로운 클래스를 처리합니다.
• 매개변수 효율적 미세 조정(PEFT): 원래 가중치는 고정한 채 LoRA 행렬과 같이 추가되거나 선택된 소수의 매개변수만 학습해 초대형 사전 학습 모델을 적응시킵니다.
• 치명적 망각: 새 데이터로 모델을 미세 조정할 때 원래 작업의 능력을 잃는 현상입니다. 새 학습 데이터셋에 원래 클래스 이미지를 일부 섞거나 더 많은 레이어를 고정하면 이를 완화할 수 있습니다.