테스트 데이터

머신 러닝에서 테스트 데이터는 모델이 완전히 학습되고 튜닝된 후 최종 평가에 사용되는 데이터 세트의 독립적인 별도 부분입니다. 이 데이터 세트는 모델에 대한 '최종 시험' 역할을 하며, 보이지 않는 새로운 데이터에 대한 성능에 대한 편견 없는 평가를 제공합니다. 핵심 원칙은 모델이 개발 중에 테스트 데이터로부터 학습하거나 영향을 받지 않아야 한다는 것입니다. 이러한 엄격한 분리는 정확도 또는 평균 정밀도(mAP)와 같이 테스트 세트에서 계산된 성능 지표가 실제 시나리오로 일반화하는 모델의 능력을 제대로 반영하도록 보장합니다. 엄격한 모델 테스트는 모델 배포 전의 중요한 단계입니다.

ML 수명 주기에서 테스트 데이터의 역할

일반적인 머신러닝(ML) 프로젝트에서 데이터는 다양한 목적에 따라 신중하게 파티션됩니다. 이러한 파티션의 구분을 이해하는 것은 기본입니다.

• 학습 데이터: 모델을 학습시키는 데 사용되는 데이터의 가장 큰 하위 집합입니다. 모델은 학습 세트의 예시를 기반으로 내부 가중치를 조정하여 패턴, 특징 및 관계를 반복적으로 학습합니다. 효과적인 모델을 만들려면 고품질의 학습 데이터와 이 모델 학습 팁 가이드에 나와 있는 것과 같은 모범 사례를 따라야 합니다.
• 유효성 검사 데이터: 학습 과정에서 사용되는 별도의 데이터 세트입니다. 이 데이터의 목적은 보이지 않는 데이터에 대한 모델의 성능에 대한 피드백을 제공하여 하이퍼파라미터 조정(예: 학습 속도 조정)과 과적합 방지에 도움을 주기 위한 것입니다. 학습 전략을 세우는 데 도움이 되는 모의고사와 같은 역할을 합니다. 평가는 종종 전용 검증 모드를 사용하여 수행됩니다.
• 테스트 데이터: 이 데이터 세트는 모든 훈련과 검증이 완료될 때까지 완전히 격리된 상태로 유지됩니다. 모델 성능에 대한 편견 없는 최종 보고서를 제공하기 위해 단 한 번만 사용됩니다. 테스트 데이터를 사용하여 모델을 추가로 조정하면 결과가 무효화되며, 이러한 실수를 "데이터 누출" 또는 "테스트에 대한 학습"이라고도 합니다. 이 최종 평가는 Ultralytics YOLO 모델과 같은 모델이 배포 후 어떻게 작동할지 이해하는 데 필수적입니다. 이러한 데이터 세트는 프로젝트 수명 주기 전반에 걸쳐 관리할 수 있습니다.

벤치마크 데이터 세트는 테스트 세트의 역할을 할 수도 있지만, 주된 역할은 다양한 모델을 비교하기 위한 공개 표준의 역할을 하는 것으로, 종종 ImageNet 대규모 시각 인식 챌린지(ILSVRC)와 같은 학술적 챌린지에서 사용됩니다. 모델 비교 페이지에서 이에 대한 예를 확인할 수 있습니다.

실제 애플리케이션

1. 자동차 분야의 AI: 한 개발자가 수천 시간의 주행 영상을 학습 및 검증에 사용하여 자율주행 차량용 물체 감지 모델을 만듭니다. 이 모델을 차량에 배포하기 전에 테스트 데이터 세트에 대해 평가합니다. 이 테스트 세트에는 폭우 속 야간 주행, 눈보라 속 주행, 다른 물체에 부분적으로 가려진 보행자 감지 등 이전에는 볼 수 없었던 까다로운 시나리오가 포함됩니다. 이 테스트 세트에서 모델의 성능은 종종 nuScenes와 같은 벤치마크의 데이터를 사용하여 자동차 애플리케이션 에서 AI에 필요한 엄격한 안전 및 신뢰성 표준을 충족하는지 여부를 결정합니다.
2. 의료 이미지 분석: 컴퓨터 비전(CV) 모델은 한 병원에서 제공한 흉부 엑스레이 이미지에서 폐렴의 징후를 감지하도록 학습됩니다. 이 모델이 임상적으로 유용한지 확인하려면 다른 병원 시스템의 이미지 데이터 세트에 대해 테스트해야 합니다. 이 테스트 데이터에는 다양한 환자 집단에서 다양한 장비로 촬영하고 다양한 영상의학과 전문의가 해석한 이미지가 포함됩니다. 이러한 외부 테스트 세트에서 모델의 성능을 평가하는 것은 FDA와 같은 규제 기관의 승인을 얻고 의료 분야에서 AI의 유용성을 확인하는 데 매우 중요합니다. 이 프로세스는 모델이 데이터 세트 편향을 피하고 새로운 임상 환경에서 안정적으로 작동하도록 보장하는 데 도움이 됩니다.