Transfer Learning

전이 학습은 특정 작업을 위해 개발된 모델을 관련성이 있는 두 번째 작업의 시작점으로 재사용하는 머신러닝(ML)의 강력한 기법입니다. 방대한 데이터셋과 상당한 컴퓨팅 파워가 필요한 신경망(neural network)을 처음부터 학습시키는 대신, 개발자들은 AI가 이미 습득한 지식을 활용합니다. 이 접근 방식은 인간의 학습 방식을 모방합니다. 예를 들어, 피아노 연주 방법을 알면 음악 이론과 손가락의 유연성에 대한 기본적인 이해가 전이되기 때문에 오르간을 배우는 것이 훨씬 더 쉬워집니다. 딥러닝(deep learning)의 맥락에서 이는 모델이 새로운 문제에 대해 훨씬 적은 데이터와 시간으로 높은 정확도를 달성할 수 있음을 의미합니다.

Link to this section전이 학습의 작동 원리#

전이 학습의 효율성은 특성 추출(feature extraction)의 계층적 특성에 있습니다. 특히 컴퓨터 비전에 사용되는 딥러닝 모델은 계층별로 패턴을 인식하는 법을 배웁니다. 백본(backbone)의 초기 계층은 에지, 곡선, 질감과 같은 간단하고 보편적인 특성을 감지합니다. 이러한 저수준 특성은 거의 모든 시각적 작업에 적용할 수 있습니다.

이 과정은 일반적으로 두 가지 주요 단계로 구성됩니다.

1. Pre-training: A model is trained on a large-scale benchmark dataset, such as ImageNet, to learn general visual representations. This results in a set of model weights that already understand visual structure.

2. 적응(Adaptation): 사전 학습된 모델은 특정 니치 작업에 맞게 조정됩니다. 이는 종종 초기 계층을 "동결(freezing)"(가중치를 고정 상태로 유지)하고 최종 계층 또는 탐지 헤드(detection head)만 더 작고 사용자 정의된 데이터셋으로 재학습하는 방식으로 수행됩니다.

Link to this section실제 애플리케이션 사례#

전이 학습은 거대 기술 기업의 자원 없이도 전문화된 솔루션을 구축할 수 있게 하여 AI를 대중화했습니다.

• 의료 분야의 AI: 모든 특정 질병에 대해 수백만 개의 주석이 달린 의료 이미지를 수집하는 것은 어렵습니다. 그러나 연구자들은 일상적인 물체로 사전 학습된 모델을 의료 이미지 분석에 적용할 수 있습니다. 이 모델은 모양과 이상 징후를 감지하는 능력을 전이하여 높은 정밀도(precision)로 X-레이나 MRI 스캔에서 종양을 식별합니다.
• 제조 분야의 AI: 산업 환경에서 시각적 검사 시스템은 새로운 제품 라인에 빠르게 적응해야 합니다. 일반화된 결함 탐지 모델을 스마트 제조 워크플로우를 활용하여 가동 중지 시간을 최소화함으로써 마이크로칩과 같은 특정 신규 부품의 결함을 식별하도록 빠르게 업데이트할 수 있습니다.

Link to this section다른 개념과의 관계#

전이 학습과 밀접하게 관련된 용어들을 구분하는 것이 도움이 됩니다.

• vs. 파인 튜닝(Fine-Tuning): 파인 튜닝은 전이 학습을 구현하는 특정 방법입니다. 전이 학습이 지식을 재사용한다는 포괄적인 개념이라면, 파인 튜닝은 모델의 일부를 동결 해제하고 더 낮은 학습률(learning rate)로 새로운 데이터에 대해 학습시키는 기계적인 과정을 의미합니다.
• vs. 제로 샷 학습(Zero-Shot Learning): 전이 학습은 새로운 작업에 대해 일부 라벨링된 데이터로 학습 단계를 거쳐야 합니다. 이와 대조적으로, 제로 샷 학습은 모델이 이전에 본 적 없는 객체를 분류하려고 시도하며, 종종 시각적 예시보다는 의미론적 기술에 의존합니다.

Link to this section실용적인 예시#

다음 Python 코드 조각은 ultralytics 라이브러리를 사용한 전이 학습을 보여줍니다. COCO 데이터셋에서 파생된 사전 학습된 가중치가 포함된 YOLO26 모델을 로드합니다. 새로운 데이터셋으로 학습을 시작하면 모델은 사전 학습된 특성을 새로운 작업으로 자동으로 전이합니다.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (transferring weights from COCO)
model = YOLO("yolo26n.pt")

# Train the model on a new, smaller dataset to adapt its knowledge
# This leverages the pre-learned backbone for faster convergence
results = model.train(data="coco8.yaml", epochs=5)

데이터셋을 관리하고 클라우드에서 이러한 학습 실행을 수행하기 위해 Ultralytics Platform과 같은 도구는 프로세스를 간소화하여 팀이 데이터에 주석을 달고 전이 학습된 모델을 효율적으로 배포할 수 있도록 협업을 지원합니다.

학문적 이론을 더 깊이 탐구하려면 Stanford CS231n 노트가 훌륭한 개요를 제공하며, PyTorch 전이 학습 튜토리얼은 구현을 위한 광범위한 기술적 세부 정보를 제공합니다.