테스트 데이터

머신 러닝에서 테스트 데이터는 완전히 훈련되고 조정된 후 모델의 최종 평가에 사용되는 데이터 세트의 별도 독립적인 부분입니다. 이 데이터 세트는 모델의 '최종 시험' 역할을 하여 새로운 미지의 데이터에 대한 성능에 대한 편향되지 않은 평가를 제공합니다. 핵심 원칙은 모델이 개발 중에 테스트 데이터로부터 학습하거나 영향을 받아서는 안 된다는 것입니다. 이러한 엄격한 분리를 통해 정확도 또는 평균 정밀도(mAP)와 같이 테스트 세트에서 계산된 성능 지표가 실제 시나리오에 대한 모델의 일반화 능력을 진정으로 반영하도록 보장합니다. 엄격한 모델 테스트는 모델 배포 전에 수행해야 하는 중요한 단계입니다.

ML 라이프사이클에서 테스트 데이터의 역할

일반적인 머신 러닝(ML) 프로젝트에서 데이터는 다양한 목적을 위해 신중하게 분할됩니다. 이러한 파티션 간의 구별을 이해하는 것이 기본입니다.

• 학습 데이터: 이는 모델을 가르치는 데 사용되는 데이터의 가장 큰 하위 집합입니다. 모델은 학습 세트의 예제를 기반으로 내부 가중치를 조정하여 패턴, 특징 및 관계를 반복적으로 학습합니다. 효과적인 모델 생성은 고품질 학습 데이터와 이 모델 학습 팁 가이드에 있는 것과 같은 모범 사례를 따르는 데 달려 있습니다.
• 검증 데이터: 훈련 과정 중에 사용되는 별도의 데이터 세트입니다. 그 목적은 보이지 않는 데이터에 대한 모델의 성능에 대한 피드백을 제공하여 하이퍼파라미터 튜닝(예: 학습률 조정)을 돕고 과적합을 방지하는 것입니다. 학습 전략을 안내하는 데 도움이 되는 연습 시험과 같습니다. 평가는 종종 전용 검증 모드를 사용하여 수행됩니다.
• 테스트 데이터: 이 데이터 세트는 모든 훈련 및 검증이 완료될 때까지 완전히 격리된 상태로 유지됩니다. 모델 성능에 대한 최종적이고 편향되지 않은 보고서를 제공하기 위해 한 번만 사용됩니다. 테스트 데이터를 사용하여 모델을 추가로 조정하면 결과가 무효화되며, 이는 때때로 "데이터 누출" 또는 "테스트 학습"이라고도 하는 실수입니다. 이 최종 평가는 Ultralytics YOLO 모델과 같은 모델이 배포 후 어떻게 작동할지 이해하는 데 필수적입니다. Ultralytics HUB와 같은 도구는 프로젝트 수명 주기 전반에 걸쳐 이러한 데이터 세트를 관리하는 데 도움이 될 수 있습니다.

벤치마크 데이터 세트는 테스트 세트 역할을 할 수 있지만, 주요 역할은 ImageNet Large Scale Visual Recognition Challenge (ILSVRC)와 같은 학술 대회에서 자주 사용되는 다양한 모델을 비교하기 위한 공개 표준 역할을 하는 것입니다. 모델 비교 페이지에서 이러한 예시를 확인할 수 있습니다.

실제 애플리케이션

1. 자동차 분야의 AI: 개발자는 훈련 및 검증을 위해 수천 시간 분량의 운전 영상을 사용하여 자율 주행 차량용 객체 감지 모델을 만듭니다. 이 모델을 차량에 배포하기 전에 테스트 데이터 세트에 대해 평가합니다. 이 테스트 세트에는 폭우 속에서 야간 운전, 눈보라 속에서 탐색 또는 다른 물체에 부분적으로 가려진 보행자 감지와 같이 이전에 볼 수 없었던 어려운 시나리오가 포함됩니다. nuScenes와 같은 벤치마크의 데이터를 사용하여 이 테스트 세트에서 모델의 성능은 자동차 분야의 AI 애플리케이션에 필요한 엄격한 안전 및 신뢰성 표준을 충족하는지 여부를 결정합니다.
2. 의료 영상 분석: 한 병원에서 제공된 흉부 X선 이미지에서 폐렴 징후를 감지하도록 컴퓨터 비전(CV) 모델이 학습됩니다. 임상적으로 유용하도록 하려면 다른 병원 시스템의 이미지 데이터 세트에서 모델을 테스트해야 합니다. 이 테스트 데이터에는 다른 장비로 캡처하고 다양한 환자 집단에서 가져오고 다른 방사선 전문의가 해석한 이미지가 포함됩니다. 이 외부 테스트 세트에서 모델의 성능을 평가하는 것은 FDA와 같은 규제 승인을 얻고 헬스케어 AI에 대한 유용성을 확인하는 데 중요합니다. 이 프로세스는 모델이 데이터 세트 편향을 피하고 새로운 임상 환경에서 안정적으로 수행되도록 하는 데 도움이 됩니다.