검증 데이터

검증 데이터는 모델의 하이퍼파라미터를 조정하는 동안 모델 적합성에 대한 편향되지 않은 평가를 제공하기 위해 학습 프로세스에서 보류된 데이터 샘플입니다. 검증 세트의 주요 역할은 성능에 대한 빈번하고 독립적인 평가를 제공하여 머신 러닝(ML) 모델 개발을 안내하는 것입니다. 이 피드백 루프는 모델이 본 데이터에서 잘 수행될 뿐만 아니라 강력한 인공 지능(AI) 시스템을 만드는 데 핵심적인 개념인 새로운 미지의 데이터에도 효과적으로 일반화되도록 하는 데 필수적입니다.

검증 데이터의 역할

검증 데이터의 주요 목적은 과적합을 방지하는 것입니다. 과적합은 모델이 훈련 데이터를 너무 잘 학습하여 새 데이터에 적용되지 않는 노이즈와 세부 사항을 캡처하여 성능을 저하시키는 경우에 발생합니다. 개발자는 정기적인 간격(예: 각 에포크 후)으로 검증 세트에 대해 모델을 테스트하여 일반화 오류를 모니터링할 수 있습니다. 훈련 데이터에 대한 성능은 계속 향상되는 반면 검증 데이터에 대한 성능은 정체되거나 저하되는 경우 과적합의 명확한 신호입니다.

이 평가 프로세스는 하이퍼파라미터 튜닝에 매우 중요합니다. 하이퍼파라미터는 학습률 또는 배치 크기와 같이 데이터에서 학습되지 않은 모델 외부의 구성 설정입니다. 검증 세트를 통해 다양한 하이퍼파라미터 조합을 실험하여 최상의 성능을 제공하는 설정을 찾을 수 있습니다. 이 반복적인 프로세스는 모델 선택 및 최적화의 핵심 부분입니다.

검증 데이터 vs. 학습 및 테스트 데이터

일반적인 ML 프로젝트에서 데이터 세트는 세 개의 하위 집합으로 분할되며, 이들의 고유한 역할을 이해하는 것이 기본입니다. 데이터 분할에 대한 일반적인 접근 방식은 70%를 학습에, 15%를 검증에, 15%를 테스트에 할당하는 것입니다.

• 학습 데이터: 이는 모델을 가르치는 데 사용되는 데이터의 가장 큰 부분입니다. 모델은 내부 모델 가중치를 조정하여 이 데이터 세트에서 패턴, 특징 및 관계를 반복적으로 학습합니다.
• 유효성 검사 데이터: 이 별도의 하위 집합은 학습 과정에서 편향되지 않은 평가를 제공하는 데 사용됩니다. 과적합을 방지하기 위해 조기 중단을 구현할 시기와 같은 하이퍼파라미터를 조정하고 주요 결정을 내리는 데 도움이 됩니다. Ultralytics 생태계에서 이 평가는 유효성 검사 모드에서 처리됩니다.
• 테스트 데이터: 이 데이터 세트는 모델이 완전히 훈련되고 조정될 때까지 보류됩니다. 모델의 성능에 대한 최종적이고 편향되지 않은 평가를 제공하기 위해 한 번만 사용됩니다. 테스트 세트의 성능은 모델이 실제 배포 시나리오에서 어떻게 수행될 것으로 예상되는지 나타냅니다.

특히 유효성 검사 및 테스트 세트 간의 엄격한 분리를 유지하는 것은 모델의 기능을 정확하게 평가하고 편향-분산 상충 관계를 피하는 데 매우 중요합니다.

실제 사례

1. 컴퓨터 비전 객체 탐지: 이미지에서 객체를 탐지하기 위해 Ultralytics YOLO 모델을 학습할 때 (예: VisDrone 데이터셋 사용), 레이블이 지정된 이미지의 일부가 검증 데이터로 따로 설정됩니다. 학습 중에 모델의 mAP (평균 정밀도 평균)가 각 epoch 이후 이 검증 세트에서 계산됩니다. 이 검증 mAP는 테스트 세트에서 최종 성능을 확인하기 전에 학습을 중단할 시점 또는 어떤 데이터 증강 기술 세트가 가장 효과적인지 결정하는 데 도움이 됩니다. 효과적인 모델 평가 전략은 이러한 분할에 크게 의존합니다.
2. 자연어 처리 텍스트 분류: 고객 리뷰를 긍정 또는 부정(감성 분석)으로 분류하는 모델을 개발할 때 검증 세트는 최적의 아키텍처(LSTM vs. Transformer 등)를 선택하거나 드롭아웃 비율과 같은 하이퍼파라미터를 조정하는 데 사용됩니다. 검증 세트에서 가장 높은 F1 점수 또는 정확도를 달성하는 모델이 최종 테스트를 위해 선택됩니다. Hugging Face Datasets와 같은 리소스는 종종 이러한 목적을 위해 미리 분할된 데이터 세트를 제공합니다.

교차 검증

사용 가능한 데이터 양이 제한적인 경우 교차 검증(특히 K-Fold 교차 검증)이라는 기술이 자주 사용됩니다. 여기서 훈련 데이터는 'K'개의 하위 집합(폴드)으로 분할됩니다. 모델은 K번 훈련되며, 매번 K-1개의 폴드를 훈련에 사용하고 나머지 폴드를 검증 세트로 사용합니다. 그런 다음 성능은 모든 K 실행에서 평균화됩니다. 이렇게 하면 모델 성능에 대한 보다 강력한 추정치를 제공하고 scikit-learn 문서 및 Ultralytics K-Fold 교차 검증 가이드와 같은 리소스에 설명된 대로 제한된 데이터를 더 잘 활용할 수 있습니다.

요약하자면, 유효성 검사 데이터는 PyTorch 및 TensorFlow와 같은 프레임워크를 사용하여 안정적이고 고성능 AI 모델을 구축하는 데 중요한 토대입니다. 효과적인 하이퍼파라미터 튜닝, 모델 선택 및 과적합 방지를 가능하게 하여 모델이 훈련된 데이터를 넘어 잘 일반화되도록 합니다. Ultralytics HUB와 같은 플랫폼은 이러한 데이터 세트를 효과적으로 관리하기 위한 통합 도구를 제공합니다.