데이터 정리

데이터 정리는 데이터 세트에서 손상되거나 부정확하거나 불완전하거나 일관되지 않은 데이터를 식별하고 수정 또는 제거하는 프로세스입니다. 학습 데이터의 품질이 결과 모델의 성능과 신뢰성을 직접 결정하기 때문에 모든 머신 러닝(ML) 워크플로우에서 중요한 첫 단계입니다. '가비지 인, 가비지 아웃'의 원칙에 따라 데이터 정리는 Ultralytics YOLO와 같은 모델이 정확하고 일관된 정보로 학습되도록 하여 더 나은 정확도와 더 신뢰할 수 있는 예측으로 이어지도록 합니다. 적절한 정리가 이루어지지 않으면 데이터의 근본적인 문제로 인해 왜곡된 결과가 발생하고 모델 일반화가 제대로 이루어지지 않을 수 있습니다.

주요 데이터 정리 작업

데이터 정리 프로세스에는 다양한 유형의 데이터 품질 문제를 해결하기 위해 고안된 여러 가지 작업이 포함됩니다. 이러한 작업은 반복적인 경우가 많으며 도메인별 지식이 필요할 수 있습니다.

• 누락된 값 처리하기: 데이터 집합에는 종종 누락된 항목이 포함되어 있는데, 이 문제는 불완전한 레코드를 제거하거나 평균, 중앙값 또는 고급 예측 모델과 같은 통계적 방법을 사용하여 누락된 값을 임포트(채우기)함으로써 해결할 수 있습니다. 누락된 데이터 처리에 대한 가이드에서 더 많은 인사이트를 얻을 수 있습니다.
• 부정확한 데이터 수정: 여기에는 오타, 측정 불일치(예: 파운드 대 kg), 사실과 다른 정보 수정이 포함됩니다. 데이터 유효성 검사 규칙을 적용하여 이러한 오류를 표시하는 경우가 많습니다.
• 중복 제거: 중복 레코드는 특정 데이터 요소에 과도한 가중치를 부여하여 모델에 편향성을 유발할 수 있습니다. 이러한 중복 항목을 식별하고 제거하는 것은 표준 단계입니다.
• 이상값 관리하기: 이상값은 다른 관측치에서 크게 벗어난 데이터 포인트입니다. 이상값의 원인에 따라 모델 학습 프로세스에 부정적인 영향을 미치지 않도록 제거, 수정 또는 변형할 수 있습니다. 이를 위해 이상값 탐지 기법이 널리 사용됩니다.
• 데이터 표준화: 여기에는 데이터가 일관된 형식을 따르도록 하는 것이 포함됩니다. 예를 들면 날짜 형식 표준화, 텍스트 대/소문자 구분(예: 모든 텍스트를 소문자로 변환), 단위 변환 등이 있습니다. 일관된 데이터 품질 표준은 성공을 위해 매우 중요합니다.

실제 AI/ML 애플리케이션

1. 의료 이미지 분석: 뇌종양 데이터 세트와 같은 데이터 세트에서 객체 감지 모델을 훈련할 때는 데이터 정리가 필수적입니다. 이 과정에는 손상되거나 품질이 낮은 이미지 파일을 제거하고, 모든 이미지를 일관된 해상도와 형식으로 표준화하며, 환자 라벨과 주석이 올바른지 확인하는 작업이 포함됩니다. 이를 통해 모델이 명확하고 신뢰할 수 있는 정보로부터 학습할 수 있도록 보장하며, 이는 의료 분야의 AI에서 신뢰할 수 있는 진단 도구를 개발하는 데 필수적입니다. 미국 국립 생의학 영상 및 생명공학 연구소(NIBIB)는 의료 연구에서 양질의 데이터의 중요성을 강조합니다.
2. 소매업 재고 관리를 위한 AI: AI 기반 소매업에서는 컴퓨터 비전 모델이 카메라 피드를 사용하여 진열대 재고를 모니터링합니다. 흐릿한 이미지를 필터링하고, 쇼핑객으로 인해 제품이 가려진 프레임을 제거하고, 여러 카메라 각도에서 중복된 제품 수를 제거하려면 데이터 클리닝이 필요합니다. 이러한 문제를 해결하면 재고 시스템에서 재고 수준을 정확하게 파악할 수 있으므로 더 스마트하게 재고를 보충하고 낭비를 줄일 수 있습니다. Google Cloud와 같은 회사는 데이터 품질이 가장 중요한 분석 솔루션을 제공합니다.

데이터 정리와 관련 개념 비교

데이터 정리와 관련 데이터 준비 단계를 구분하는 것이 중요합니다:

• 데이터 전처리: 데이터 정리를 포괄하는 광범위한 용어이지만 정규화 (숫자 특징 크기 조정), 범주형 변수 인코딩, 특징 추출 등 ML 모델을 위해 데이터를 준비하기 위한 다른 변환도 포함합니다. 정리가 오류 수정에 중점을 두는 반면, 전처리는 알고리즘을 위한 데이터 형식 지정에 중점을 둡니다. 자세한 내용은 주석이 달린 데이터 전처리에 대한 Ultralytics 가이드를 참조하세요.
• 데이터 라벨링: 지도 학습을 위해 이미지의 개체 주위에 경계 상자를 그리는 등 원시 데이터에 유용한 태그나 주석(레이블)을 추가하는 프로세스입니다. 데이터 정리에는 품질 검사 중에 확인된 잘못된 라벨을 수정하는 작업이 포함될 수 있지만, 라벨링의 초기 작업과는 구별됩니다. 데이터 수집 및 주석 가이드는 라벨링에 대한 인사이트를 제공합니다.
• 데이터 증강: 이 기술은 기존 데이터의 수정된 복사본을 생성하여(예: 이미지 회전, 밝기 변경) 학습 데이터 세트의 크기와 다양성을 인위적으로 증가시킵니다. 데이터 증강은 모델의 일반화와 견고성을 개선하는 것을 목표로 하는 반면, 데이터 정리는 원본 데이터의 품질을 개선하는 데 중점을 둡니다. 데이터 증강에 대한 궁극적인 가이드에서 자세히 알아보세요.

데이터 정리는 기본 데이터의 건전성을 보장함으로써 AI 시스템의 신뢰성과 성능을 크게 향상시키는 기본적이고 반복적인 작업입니다. Pandas 라이브러리와 같은 도구는 Python 기반 ML 워크플로우에서 데이터 조작 및 정리 작업에 일반적으로 사용됩니다. 엄격한 정리를 통해 데이터 품질을 보장하는 것은 신뢰할 수 있는 AI를 개발하는 데 필수적이며, 특히 복잡한 컴퓨터 비전(CV) 작업이나 COCO 또는 ImageNet과 같은 대규모 벤치마크 데이터 세트로 작업할 때 더욱 중요합니다. Ultralytics HUB와 같은 플랫폼은 프로젝트 수명 주기 내내 고품질 데이터 세트를 관리하고 유지하는 데 도움이 될 수 있습니다.