학습 데이터

학습 데이터는 머신러닝(ML) 모델에게 정확한 예측이나 결정을 내리는 방법을 가르치는 데 사용되는 기본 데이터 세트입니다. 지도 학습에서 이 데이터는 해당 정답 출력(종종 레이블 또는 어노테이션이라고 함)과 쌍을 이루는 입력 샘플로 구성됩니다. 모델은 이러한 예제로부터 반복적으로 학습하고 예측과 실제 레이블 간의 차이를 최소화하기 위해 내부 모델 가중치를 조정합니다. 학습 데이터의 품질, 양, 다양성은 모델의 성능과 새로운 미지의 데이터로 일반화하는 능력에 영향을 미치는 가장 중요한 요소입니다.

고품질 학습 데이터의 중요성

"쓰레기 입력은 쓰레기 출력"이라는 원칙은 ML 모델 학습에 특히 해당됩니다. 강력하고 신뢰할 수 있는 시스템을 구축하려면 고품질 데이터가 필수적입니다. 주요 특징은 다음과 같습니다.

• 관련성: 데이터는 모델이 해결하도록 의도된 문제를 정확하게 반영해야 합니다.
• 다양성: 과적합을 방지하기 위해 모델이 실제 환경에서 접하게 될 광범위한 시나리오, 엣지 케이스 및 변형을 다루어야 합니다.
• 정확한 레이블링: 어노테이션은 정확하고 일관성이 있어야 합니다. 데이터 레이블링 프로세스는 종종 컴퓨터 비전 프로젝트에서 가장 시간이 많이 걸리는 부분입니다.
• 충분한 볼륨: 모델이 의미 있는 패턴을 학습하려면 일반적으로 많은 양의 데이터가 필요합니다. 데이터 증강과 같은 기술은 데이터 세트를 인위적으로 확장하는 데 도움이 될 수 있습니다.
• 낮은 편향: 불공정하거나 부정확한 모델 동작을 방지하려면 데이터가 균형 있고 대표성을 띠어야 합니다. 알고리즘 편향을 이해하는 것은 책임감 있는 AI 개발의 핵심 측면입니다.

Ultralytics HUB와 같은 플랫폼은 모델 개발 수명 주기 전반에 걸쳐 데이터 세트를 관리하는 도구를 제공하며, CVAT와 같은 오픈 소스 도구는 어노테이션 작업에 널리 사용됩니다.

실제 사례

1. 자율 주행 차량: 자율 주행 차량을 위한 객체 탐지 모델을 학습하기 위해 개발자는 카메라와 센서에서 수집한 방대한 양의 학습 데이터를 사용합니다. 이 데이터는 모든 프레임에 세심하게 레이블이 지정된 이미지와 비디오로 구성됩니다. 보행자, 자전거 타는 사람, 다른 자동차 및 교통 표지판은 경계 상자로 묶여 있습니다. Argoverse 또는 nuScenes와 같은 데이터 세트로 학습함으로써 차량의 AI는 주변 환경을 안전하게 인식하고 탐색하는 방법을 배웁니다.
2. 의료 영상 분석: 헬스케어 분야에서 의료 영상 분석을 위한 학습 데이터는 수천 개의 MRI 또는 CT 스캔으로 구성될 수 있습니다. 방사선 전문의는 이러한 이미지를 주석 처리하여 종양, 골절 또는 기타 병리학적 특징을 강조 표시합니다. Ultralytics YOLO로 구축된 모델과 같은 ML 모델은 뇌종양 데이터 세트에서 학습하여 이러한 이상 징후를 식별하는 방법을 학습하여 의사가 더 빠르고 정확한 진단을 내릴 수 있도록 지원하는 강력한 도구 역할을 할 수 있습니다. TCIA(The Cancer Imaging Archive)와 같은 리소스는 연구를 위해 이러한 데이터에 대한 공용 액세스를 제공합니다.

학습 데이터 vs. 검증 및 테스트 데이터

일반적인 ML 프로젝트에서 데이터는 세 개의 개별 세트로 나뉩니다.

• 학습 데이터: 모델의 파라미터를 조정하여 모델을 직접 학습하는 데 사용되는 가장 큰 부분입니다. 효과적인 학습에는 모델 학습 팁에 대한 신중한 고려가 필요한 경우가 많습니다.
• 검증 데이터: 모델이 명시적으로 학습하지 않은 데이터에 대한 성능을 평가하기 위해 훈련 중에 주기적으로 사용되는 별도의 하위 집합입니다. 이는 Hyperparameter Optimization (Wikipedia)과 같은 프로세스를 통해 하이퍼파라미터(예: 학습률, 배치 크기)를 조정하는 데 도움이 되며 과적합에 대한 조기 경고를 제공합니다. 검증 모드는 이 평가에 사용됩니다.
• 테스트 데이터: 훈련 및 검증 중에 보이지 않은 독립적인 데이터 세트로, 모델이 완전히 훈련된 후에만 사용됩니다. 모델의 일반화 능력과 실제 환경에서의 예상 성능에 대한 최종적이고 편향되지 않은 평가를 제공합니다. 배포 전에 엄격한 모델 테스트가 중요합니다.

이러한 데이터 세트 간의 엄격한 분리는 신뢰할 수 있는 모델 개발에 필수적입니다. 최첨단 모델은 종종 광범위한 학습 데이터 역할을 하는 COCO 또는 ImageNet과 같은 대규모 벤치마크 데이터 세트에서 사전 학습됩니다. Google Dataset Search 및 Kaggle Datasets와 같은 플랫폼에서 더 많은 데이터 세트를 찾을 수 있습니다.