전이 학습

전이 학습은 한 작업을 위해 개발된 모델을 두 번째 관련 작업의 모델에 대한 시작점으로 로 재사용하는 머신러닝 기법입니다. 방대한 양의 학습 데이터와 컴퓨팅 리소스가 필요한 모델을 처음부터 다시 학습하는 대신 훈련 데이터 및 컴퓨팅 리소스를 필요로 하는 학습은 소스 작업에서 학습한 피처 맵, 가중치, 패턴 등의 지식을 활용합니다. 이 접근 방식 은 최신 딥 러닝의 초석입니다, 특히 컴퓨터 비전(CV)의 초석으로, 개발자는 이를 통해 개발자가 훨씬 적은 데이터와 더 적은 데이터와 더 짧은 학습 시간으로 높은 정확도를 달성할 수 있습니다.

전이 학습 작동 방식

이 프로세스는 계층적 특징을 학습하는 뉴럴 네트워크의 표현을 학습하는 능력에 의존합니다. 모델의 초기 레이어, 흔히 백본이라고 불리는 백본이라고도 하는 모델의 초기 레이어에서 네트워크는 가장자리, 질감, 모양과 같은 보편적인 시각적 특징 가장자리, 텍스처, 모양과 같은 보편적인 시각적 특징을 학습합니다. 이러한 기능은 거의 모든 시각적 작업에 적용할 수 있습니다.

이전 학습에는 일반적으로 두 가지 주요 단계가 포함됩니다:

1. 사전 교육: 모델은 다음과 같은 대규모 벤치마크 데이터 세트를 ImageNet (분류용) 또는 COCO (탐지용). 그 결과 사전 학습된 모델은 일반적인 시각적 구조에 대한 강력한 이해를 보유하고 있습니다.
2. 미세 조정: 사전 학습된 모델을 새롭고 구체적인 작업에 맞게 조정합니다. 미세 조정 중 미세 조정하는 동안 모델은 더 작은 규모의 작업별 데이터 세트에 대해 학습합니다. 종종 초기 레이어의 가중치는 "고정"(정적으로 유지)되어 학습된 특징을 보존하고 학습된 특징을 보존하기 위해 초기 레이어의 가중치는 "고정"(정적으로 유지)되고, 최종 레이어( 탐지 헤드 또는 분류기)만 업데이트됩니다.

이론에 대해 더 자세히 알아보려면 편입 학습에 대한 스탠포드 CS231n 노트는 훌륭한 리소스를 제공합니다.

혜택 및 관련성

전이 학습은 데이터 부족이라는 일반적인 문제를 해결합니다. 사전 학습된 기능으로 시작하면 모델은 작은 데이터 세트에 대한 작은 데이터 세트에서 과적합을 피하고 훨씬 빠르게 수렴합니다. 훨씬 빠르게 수렴합니다.

• 효율성: 교육 시간을 며칠 또는 몇 주에서 며칠 또는 몇 주에서 몇 시간으로 단축합니다.
• 성능: 종종 더 높은 수율 정확도 및 모델이 이미지에 대한 '일반적인' 이해에서 시작하기 때문에 상식적인" 이미지 이해에서 시작하기 때문입니다.
• 접근성: 사용자가 거대 기술 기업이 사용하는 대규모 컴퓨팅 클러스터 없이도 강력한 AI 애플리케이션을 만들 수 있습니다. 클러스터 없이도 강력한 AI 애플리케이션을 만들 수 있습니다.

실제 애플리케이션

전이 학습은 다양한 산업 분야에서 널리 사용되는 AI 솔루션에 힘을 실어줍니다. 산업 전반에 걸쳐

• 의료 영상 분석: 고양이와 개와 같은 일반 이미지에 대해 사전 학습된 모델을 미세 조정하여 엑스레이 또는 MRI 스캔에서 이상 징후를 detect . 스캔에서 이상 징후를 감지할 수 있습니다. 예를 들어, 연구자들은 YOLO11 를 사용하여 뇌종양detect 를 높은 정확도로 탐지하기 위해 YOLO11을 사용하고 있습니다.
• 농업 분야의 AI: 일반적인 물체 감지 모델을 특정 작물의 질병을 식별하거나 식물의 건강을 모니터링하는 데 적용할 수 있습니다. 이를 통해 다음과 같은 정밀 농업 도구를 사용할 수 있습니다. 익은 과일detect 실시간으로 감지할 수 있습니다.

전이 학습 vs. 관련 개념

전이 학습과 유사한 용어를 구별하는 것이 도움이 됩니다:

• 제로 샷 학습과 비교: 전이 학습은 모델을 미세 조정하기 위해 새 작업에 대한 일부 레이블이 지정된 데이터가 필요합니다. 이와는 대조적으로 제로 샷 학습은 모델이 이전에 본 적이 없는 객체를 classify 시도하며, 학습 예제 없이 의미론적 설명이나 속성에만 의존하여 이전에 본 적이 없는 객체를 분류하려고 시도합니다.
• 대 지식 증류: 지식 증류는 모델 압축에 중점을 두어 큰 '교사' 모델에서 작은 '학생' 모델로 모델에서 더 작은 "학생" 모델로 지식을 이전하여 효율성을 개선합니다. 전이 학습은 도메인 적응에 중점을 둡니다, 일반적인 작업에서 특정 작업으로 지식을 옮기는 데 중점을 둡니다.

실제 사례

다음 사항 Python 예제는 다음을 사용하여 전이 학습을 적용하는 방법을 보여줍니다. 를 사용하여 전이 학습을 적용하는 방법을 ultralytics 라이브러리로 이동합니다. COCO 사전 학습된 YOLO11 모델을 로드하고 샘플 데이터 세트에서 미세 조정합니다.

from ultralytics import YOLO

# Load a pre-trained model (weights derived from the COCO dataset)
# This acts as our starting point for transfer learning
model = YOLO("yolo11n.pt")

# Fine-tune the model on a new dataset (e.g., COCO8)
# The model adapts its pre-learned features to the specific data
model.train(data="coco8.yaml", epochs=5)

# The updated model can now be used for inference on the new task
model.predict("path/to/image.jpg")

구현에 대한 자세한 내용은 공식 PyTorch 이전 학습 튜토리얼 또는 TensorFlow 전환 학습 가이드를 참조하세요.