교차 유효성 검사

교차 유효성 검사의 작동 방식

가장 널리 사용되는 방법은 K-Fold 교차 검증입니다. 이 프로세스에는 다음 단계가 포함됩니다:

1. 셔플 및 분할: 전체 데이터 집합을 무작위로 섞어 'K'개의 동일한 크기의 접기(하위 집합)로 나눕니다.
2. 반복 교육 및 검증: 모델은 K회 학습됩니다. 각 반복에서 'i'(1에서 K까지):
   • 이 모델은 K-1 배를 학습 데이터로 사용합니다.
   • 나머지 단일 접기(접기 'i')는 모델의 성능을 평가하기 위한 유효성 검사 데이터로 사용됩니다(예: 정확도 또는 F1 점수 계산).
3. 성능 집계: 각 K 반복에서 기록된 성능 메트릭을 평균하여 모델의 일반화 능력에 대한 보다 강력한 단일 추정치를 생성합니다.

Scikit-learn과 같이 널리 사용되는 많은 ML 라이브러리는 불균형 데이터 세트에 필수적인 계층화된 K-Fold 및 Leave-One-Out CV를 비롯한 다양한 교차 검증 전략을 효율적으로 구현할 수 있습니다.

교차 유효성 검사를 사용하는 이유는 무엇인가요?

교차 검증은 몇 가지 주요 이유로 신뢰할 수 있는 모델 평가의 초석이 됩니다:

• 더욱 신뢰할 수 있는 성능 추정치: CV는 여러 검증 세트에 대한 결과를 평균화하여 단일 훈련/테스트 분할과 관련된 편차를 줄임으로써 모델이 실제로 어떻게 작동할지 보다 안정적으로 측정할 수 있습니다. 이는 연구의 재현성을 높여줍니다.
• 효율적인 데이터 사용: 모든 데이터 포인트가 여러 분야에 걸쳐 학습 및 검증 데이터로 사용되므로 제한된 데이터 세트를 더 효과적으로 활용할 수 있습니다. 이는 데이터 수집 비용이 많이 들거나 어려울 때 특히 유용합니다.
• 과적합/미적합 탐지: 훈련 성능과 평균 검증 성능 간의 불일치를 파악하여 지나치게 복잡하거나(과적합) 너무 단순한(과소적합) 모델을 식별하는 데 도움이 됩니다.
• 강력한 하이퍼파라미터 튜닝: CV는 최적의 하이퍼파라미터를 선택하기 위한 보다 신뢰할 수 있는 기반을 제공합니다. 서로 다른 하이퍼파라미터 세트는 교차 검증된 평균 성능을 기반으로 평가할 수 있으므로 일반화가 더 나은 모델로 이어질 수 있습니다. Ultralytics CV 원칙을 통합할 수 있는 하이퍼파라미터 튜닝을 위한 도구를 제공합니다.

교차 유효성 검사 대 단순 트레인/검증 분할

간단한 훈련/검증 분할은 데이터를 훈련용과 검증용으로 한 번씩 분할합니다. 구현하기는 쉽지만, 성능 평가가 어떤 특정 데이터 포인트가 검증 세트에 포함되는지에 따라 크게 달라진다는 단점이 있습니다. 특히 "쉬운" 또는 "어려운" 유효성 검사 집합은 지나치게 낙관적이거나 비관적인 성능 추정치로 이어질 수 있습니다.

교차 검증은 검증을 위해 서로 다른 하위 집합을 체계적으로 사용하여 모든 데이터 포인트가 평가 프로세스에 정확히 한 번만 기여하도록 함으로써 이 문제를 해결합니다. 이를 통해 보다 안정적이고 신뢰할 수 있는 모델 견고성 평가가 가능합니다. 훈련 및 CV 기반 튜닝 중에 보이지 않는 최종 테스트 데이터 세트는 선택한 모델의 최종 평가를 위해 남겨 두어야 한다는 점에 유의해야 합니다. Ultralytics YOLO K-Fold 교차 검증을 구현하는 방법에 대한 자세한 지침을 제공합니다.

실제 애플리케이션

교차 검증은 다양한 영역에서 신뢰할 수 있는 AI 시스템을 구축하는 데 필수적인 요소입니다:

1. 의료 이미지 분석: 뇌종양 데이터 세트와 같은 데이터 세트를 사용하여 뇌 스캔에서 종양을 감지하는 등 의료 이미지 분석용 컨볼루션 신경망(CNN) 을 개발할 때, CV는 임상 시험을 고려하거나 규제 승인(예: FDA)을 받기 전에 다양한 환자 데이터에서 모델의 진단 정확도와 일반화를 엄격하게 평가하는 데 사용됩니다.
2. 자율 주행 차량: 다음과 같은 객체 감지 모델의 경우 Ultralytics YOLO 와 같은 자율주행 차량에 사용되는 물체 감지 모델의 경우, CV는 Argoverse와 같은 복잡한 데이터 세트에서 흔히 볼 수 있는 다양한 환경 조건(조명, 날씨, 도로 유형)에서 보행자, 자전거 운전자 및 기타 차량을 감지할 때 안정적인 성능을 보장하는 데 도움이 됩니다. 평균 정밀도(mAP)와 같은 지표로 측정되는 이 강력한 평가는 차량용 AI 솔루션과 같이 안전이 중요한 시스템에 모델을 배포하기 전에 반드시 필요합니다.

다른 애플리케이션으로는 이미지 세분화를 위한 모델 평가, 감정 분석과 같은 자연어 처리(NLP) 작업, 재무 모델링의 위험 평가 등이 있습니다. Ultralytics HUB와 같은 플랫폼은 종종 이러한 평가 기술을 통합하거나 촉진하여 개발 수명 주기를 간소화합니다.