Data Cleaning

데이터 클리닝은 레코드 세트, 테이블 또는 데이터베이스에서 손상되었거나 부정확하거나 관련 없는 레코드를 감지하고 수정(또는 제거)하는 핵심 프로세스입니다. 인공지능(AI) 및 머신러닝(ML) 분야에서 이 단계는 종종 워크플로에서 가장 시간이 많이 걸리면서도 필수적인 부분으로 여겨집니다. YOLO26과 같은 모델이 객체 인식 방법을 효과적으로 학습하려면, 품질이 낮은 입력이 신뢰할 수 없는 결과로 이어지는 "Garbage In, Garbage Out" 현상을 방지하기 위해 학습 데이터에서 오류를 제거해야 합니다.

AI에서 데이터 무결성의 중요성#

고성능 컴퓨터 비전 모델은 사용하는 데이터셋의 품질에 크게 의존합니다. 데이터셋에 잘못 라벨링된 이미지, 중복 또는 손상된 파일이 포함되어 있는 경우, 모델이 패턴을 일반화하는 데 어려움을 겪어 오버피팅(overfitting)이나 저조한 추론 정확도로 이어질 수 있습니다. 효과적인 데이터 클리닝은 예측 모델의 신뢰성을 향상시키고 알고리즘이 노이즈가 아닌 유효한 시그널로부터 학습하도록 보장합니다.

일반적인 데이터 클렌징 기법#

전문가들은 테이블 형식 데이터를 위한 Pandas 같은 도구나 전문 비전 도구를 사용하여 데이터셋을 정제하기 위한 다양한 전략을 활용합니다.

• 결측값 처리: 이는 누락된 데이터가 있는 레코드를 제거하거나, 통계적 평균 또는 최소 근접법을 기반으로 공백을 채우기 위해 임퓨테이션(imputation) 기법을 사용하는 것을 포함합니다.
• 중복 제거: 학습 세트의 중복 이미지는 의도치 않게 모델에 편향을 줄 수 있습니다. 이를 제거하면 모델이 특정 예제를 암기하지 않도록 하여 데이터셋 편향을 완화하는 데 도움이 됩니다.
• 이상치 탐지: 규범에서 크게 벗어나는 이상 징후(anomalies) 또는 이상치(outliers)를 식별하고 처리하는 것은 통계 분석 및 모델 가중치를 왜곡할 수 있으므로 매우 중요합니다.
• 구조적 수정: 여기에는 클래스 일관성을 보장하기 위해 클래스 라벨의 오타 수정(예: "Car"와 "car" 바로잡기)이 포함됩니다.

실제 애플리케이션 사례#

데이터 클렌징은 AI가 배포되는 다양한 산업 전반에서 매우 중요합니다.

• 의료 이미지 분석: 헬스케어 AI 애플리케이션에서 데이터셋에는 종종 아티팩트, 잘못된 환자 메타데이터 또는 관련 없는 배경 노이즈가 포함된 스캔이 포함됩니다. 이 데이터를 클리닝하면 의료 이미지 분석 모델이 진단과 관련된 생물학적 마커에만 집중할 수 있습니다.
• 소매 재고 관리: 소매업 분야의 AI의 경우, 제품 데이터셋에 단종된 품목이나 종횡비가 잘못된 이미지가 포함될 수 있습니다. 이러한 데이터셋을 클리닝하면 객체 검출 모델이 재고 수준을 정확하게 식별하고 라이브 환경에서 오탐(false positive)을 줄일 수 있습니다.

데이터 클렌징과 전처리의 구분#

데이터 클리닝은 종종 혼용되어 사용되지만 데이터 전처리와는 다릅니다. 데이터 클리닝은 오류 수정 및 "나쁜" 데이터 제거에 중점을 둡니다. 대조적으로, 전처리는 이미지 크기 조정, 정규화, 또는 다양성을 높이기 위한 데이터 증강(augmentation) 적용과 같이 깨끗한 데이터를 모델에 적합한 형식으로 변환하는 것을 포함합니다.

품질 검사 자동화#

Ultralytics Platform에서 사용할 수 있는 것과 같은 현대적인 워크플로는 학습이 시작되기 전에 손상된 이미지나 라벨 불일치를 식별하기 위한 자동화된 검사를 통합합니다. 아래는 YOLO26과 같은 모델에 데이터를 공급하기 전 일반적인 단계인 표준 Pillow 라이브러리를 사용하여 손상된 이미지 파일을 확인하고 식별하는 방법을 보여주는 간단한 Python 예제입니다.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")