전이 학습

전이 학습은 하나의 작업에 대해 개발된 모델이 두 번째 관련 작업에서 모델의 시작점으로 재사용되는 머신러닝(ML) 기술입니다. 막대한 양의 데이터와 컴퓨팅 리소스가 필요한 모델을 처음부터 구축하는 대신, 전이 학습은 소스 작업에서 학습한 특징, 가중치 및 패턴과 같은 지식을 활용합니다. 이 접근 방식은 매우 효율적이며 최신 딥 러닝, 특히 컴퓨터 비전(CV)의 초석이 되었습니다. 사전 훈련된 모델을 사용함으로써 개발자는 훨씬 적은 데이터와 더 짧은 학습 시간으로 더 높은 성능을 달성할 수 있습니다.

전이 학습 작동 방식

전이 학습의 핵심 아이디어는 이미지 분류를 위해 ImageNet과 같이 크고 일반적인 데이터 세트에서 훈련된 모델이 이미 엣지, 텍스처 및 모양과 같은 보편적인 특징을 인식하는 방법을 학습했다는 것입니다. 이 기초 지식은 종종 백본이라고 하는 모델의 초기 레이어에 저장됩니다.

이 과정은 일반적으로 두 가지 주요 단계를 포함합니다.

1. 사전 훈련된 모델로 시작: 대규모 벤치마크 데이터 세트에서 이전에 훈련된 모델이 선택됩니다. 예를 들어, 대부분의 Ultralytics YOLO 모델은 COCO 데이터 세트에서 사전 훈련된 가중치와 함께 제공됩니다. 이러한 모델은 이미 일반적인 객체 특징에 대한 강력한 이해를 가지고 있습니다.
2. 미세 조정: 사전 훈련된 모델은 새로운 특정 작업에 맞게 조정됩니다. 미세 조정이라고 하는 이 조정은 더 작은 작업별 데이터 세트에서 모델을 추가로 훈련하는 것을 포함합니다. 이 단계에서는 학습률을 일반적으로 낮게 유지하여 미리 학습된 중요한 특징을 잃지 않고 모델의 가중치를 약간 조정합니다. 자세한 내용은 전이 학습에 대한 PyTorch 튜토리얼을 참조하십시오.

실제 애플리케이션

전이 학습은 단순한 이론적 개념이 아니라 여러 산업 분야에서 실제적인 응용이 가능합니다.

• 의료 영상 분석: 모델은 일반 ImageNet 데이터 세트에서 사전 학습된 다음 MRI 스캔에서 뇌종양과 같은 특정 이상 징후를 탐지하도록 미세 조정할 수 있습니다. 레이블링된 의료 데이터는 종종 부족하고 얻는 데 비용이 많이 들기 때문에 전이 학습을 통해 수백만 개의 의료 영상이 없어도 정확한 진단 도구를 만들 수 있습니다. 자세한 내용은 AI가 방사선학에서 새로운 정밀 시대를 창조하는 방법을 참조하십시오.
• 자율 주행 차량: 객체 감지 모델은 방대한 도로 이미지 데이터 세트에서 사전 학습된 다음 특정 자동차 제조업체에서 특정 차량 모델을 인식하거나 특정 기상 조건에서 작동하도록 미세 조정할 수 있습니다. 이를 통해 자동차, 보행자 및 표지판에 대한 기존 지식을 활용하여 개발을 가속화하고 안전성을 향상시킬 수 있습니다.

전이 학습 vs. 관련 개념

전이 학습을 다른 ML 기술과 구별하는 것이 중요합니다.

• Foundation Models: 이는 다양한 다운스트림 작업에 맞게 조정되도록 특별히 설계된 방대한 양의 데이터에 대해 사전 훈련된 대규모 모델입니다. 전이 학습은 이러한 파운데이션 모델을 조정하는 프로세스입니다.
• Zero-Shot Learning: 이 기술은 모델이 학습 중에 보지 못했던 클래스를 인식할 수 있게 합니다. 전이 학습이 일부 새로운 데이터를 사용하여 모델을 새로운 작업에 적용하는 반면, Zero-Shot Learning은 새로운 클래스의 예시 없이 일반화를 목표로 합니다. Few-Shot, Zero-Shot, and Transfer Learning 가이드에서 이러한 차이점을 더 자세히 설명합니다.
• 지식 증류(Knowledge Distillation): 여기에는 효율성을 달성하기 위해 더 작은 "학생" 모델을 훈련하여 더 큰 "교사" 모델의 동작을 모방하는 것이 포함됩니다. 전이 학습은 한 작업에서 다른 작업으로 지식을 적용하는 데 중점을 두는 반면, 증류는 동일한 작업 내에서 지식을 압축하는 데 중점을 둡니다.

도구 및 프레임워크

다양한 도구와 플랫폼을 통해 전이 학습을 쉽게 적용할 수 있습니다. PyTorch 및 TensorFlow와 같은 프레임워크는 광범위한 문서와 사전 훈련된 모델을 제공합니다. Ultralytics HUB와 같은 플랫폼은 전체 워크플로우를 간소화하여 사용자가 YOLOv8 및 YOLO11과 같은 사전 훈련된 모델을 쉽게 로드하고, 새로운 데이터 세트에 대해 맞춤형 훈련을 수행하고, 모델 배포를 관리할 수 있도록 합니다. 더 깊이 있는 이론적 이해를 위해서는 전이 학습에 대한 Stanford CS231n 개요와 같은 자료가 매우 유용합니다.