이전 학습

전이 학습은 한 작업을 위해 개발된 모델을 두 번째 관련 작업의 모델의 시작점으로 재사용하는 머신 러닝(ML) 기법입니다. 전이 학습은 방대한 양의 데이터와 계산 리소스가 필요한 모델을 처음부터 새로 구축하는 대신 소스 작업에서 학습한 기능, 가중치, 패턴 등의 지식을 활용합니다. 이 접근 방식은 매우 효율적이며 특히 컴퓨터 비전(CV)에서 최신 딥 러닝의 초석이 되었습니다. 사전 학습된 모델을 사용하면 개발자는 훨씬 적은 데이터와 짧은 학습 시간으로 더 높은 성능을 달성할 수 있습니다.

이전 학습의 작동 방식

전이 학습의 핵심 아이디어는 이미지 분류를 위한 이미지넷과 같은 대규모의 일반적인 데이터 세트에서 학습된 모델이 가장자리, 질감, 모양과 같은 보편적인 특징을 인식하는 방법을 이미 학습했다는 것입니다. 이러한 기초 지식은 종종 백본이라고 하는 모델의 초기 레이어에 저장됩니다.

이 프로세스에는 일반적으로 두 가지 주요 단계가 포함됩니다:

1. 사전 학습된 모델로 시작하기: 대규모 벤치마크 데이터 세트에서 이전에 학습된 모델이 선택됩니다. 예를 들어, 대부분의 Ultralytics YOLO 모델에는 COCO 데이터 세트에 대해 사전 학습된 가중치가 포함되어 있습니다. 이러한 모델은 이미 일반적인 객체 특징에 대한 강력한 이해를 가지고 있습니다.
2. 미세 조정: 사전 학습된 모델을 새롭고 구체적인 작업에 맞게 조정합니다. 미세 조정이라고 하는 이 적응에는 더 작은 작업별 데이터 세트에 대해 모델을 추가로 학습시키는 작업이 포함됩니다. 이 단계에서는 일반적으로 학습 속도를 낮게 유지하여 미리 학습한 중요한 기능을 잃지 않고 모델의 가중치를 약간 조정합니다. 자세한 가이드는 전이 학습에 대한 PyTorch 튜토리얼을 참조하세요.

실제 애플리케이션

이전 학습은 단순한 이론적 개념이 아니라 여러 산업 분야에 걸쳐 실용적으로 적용되고 있습니다.

• 의료 영상 분석: 일반 ImageNet 데이터 세트에 대해 모델을 사전 학습시킨 다음, MRI 스캔에서 뇌종양과 같은 특정 이상을 감지하도록 미세 조정할 수 있습니다. 라벨이 지정된 의료 데이터는 종종 부족하고 비용이 많이 들기 때문에, 전이 학습을 사용하면 수백만 개의 의료 이미지가 없어도 정확한 진단 도구를 만들 수 있습니다. 이에 대한 자세한 내용은 AI가 어떻게 영상의학 분야에서 정밀도의 새 시대를 열어가고 있는지 알아보세요.
• 자율주행 차량: 물체 감지 모델은 방대한 도로 이미지 데이터 세트에 대해 사전 학습한 다음 특정 자동차 제조업체가 고유한 차량 모델을 인식하거나 특정 기상 조건에서 작동하도록 미세 조정할 수 있습니다. 이를 통해 자동차, 보행자, 표지판에 대한 기존 지식을 활용하여 개발을 가속화하고 안전성을 향상시킬 수 있습니다.

이전 학습과 관련 개념 비교

전이 학습을 다른 ML 기법과 구별하는 것이 중요합니다:

• 파운데이션 모델: 방대한 양의 데이터로 사전 학습된 대규모 모델로, 다양한 다운스트림 작업에 적용하도록 특별히 설계되었습니다. 전이 학습은 이러한 기초 모델을 조정하는 과정입니다.
• 제로 샷 학습: 이 기술은 모델이 학습 중에 본 적이 없는 클래스를 인식할 수 있게 해줍니다. 전이 학습은 새로운 데이터를 사용하여 모델을 새로운 작업에 적응시키는 반면, 제로 샷 학습은 새로운 클래스에 대한 예제 없이 일반화를 목표로 합니다. 퓨샷, 제로샷, 전이 학습에 대한 가이드에서 이러한 차이점에 대해 자세히 설명합니다.
• 지식 증류: 여기에는 효율성을 달성하기 위해 더 큰 '교사' 모델의 행동을 모방하도록 작은 '학생' 모델을 훈련하는 것이 포함됩니다. 전이 학습은 한 작업에서 다른 작업으로 지식을 적용하는 데 중점을 두는 반면, 증류는 동일한 작업 내에서 지식을 압축하는 데 중점을 둡니다.

도구 및 프레임워크

다양한 도구와 플랫폼을 통해 전이 학습을 적용할 수 있습니다. PyTorch 및 TensorFlow와 같은 프레임워크는 광범위한 문서와 사전 학습된 모델을 제공합니다. Ultralytics HUB와 같은 플랫폼은 전체 워크플로우를 간소화하여 사용자가 YOLOv8 및 YOLO11과 같은 사전 학습된 모델을 쉽게 로드하고, 새로운 데이터 세트에 대한 사용자 지정 학습을 수행하고, 모델 배포를 관리할 수 있도록 지원합니다. 더 깊은 이론적 이해를 위해서는 전이 학습에 대한 스탠포드 CS231n 개요와 같은 리소스가 매우 유용합니다.