Data Cleaning

데이터 클렌징은 레코드 세트, 테이블 또는 데이터베이스에서 손상되거나 부정확하거나 관련 없는 레코드를 감지하고 수정(또는 제거)하는 중요한 과정입니다. 인공지능(AI) 및 머신러닝(ML) 영역에서 이 단계는 종종 워크플로 중 가장 시간이 많이 소요되면서도 필수적인 부분으로 간주됩니다. YOLO26과 같은 모델이 객체를 효과적으로 인식하도록 학습하기 전에, 품질이 낮은 입력 데이터가 신뢰할 수 없는 출력으로 이어지는 "Garbage In, Garbage Out" 현상을 방지하기 위해 학습 데이터에서 오류를 제거해야 합니다.

Link to this sectionAI에서 데이터 무결성의 중요성#

고성능 컴퓨터 비전 모델은 데이터셋의 품질에 크게 의존합니다. 데이터셋에 라벨이 잘못 지정된 이미지, 중복 파일 또는 손상된 파일이 포함되어 있으면 모델이 패턴을 일반화하는 데 어려움을 겪게 되어 과적합(overfitting) 또는 낮은 추론 정확도(inference accuracy)로 이어집니다. 효과적인 데이터 클렌징은 예측 모델의 신뢰성을 향상시키며, 알고리즘이 노이즈가 아닌 유효한 신호를 학습하도록 보장합니다.

Link to this section일반적인 데이터 클렌징 기법#

실무자들은 표 형식 데이터에 Pandas를 사용하거나 특수 비전 도구를 사용하는 등 데이터셋을 정제하기 위한 다양한 전략을 채택합니다.

• 결측치 처리: 누락된 데이터가 있는 레코드를 제거하거나 대체 기법(imputation techniques)을 사용하여 통계적 평균 또는 최근접 이웃을 기반으로 간극을 채우는 작업을 포함합니다.
• 중복 제거: 학습 세트 내의 중복 이미지는 의도치 않게 모델에 편향을 줄 수 있습니다. 이를 제거하면 모델이 특정 예제를 암기하지 않도록 보장하여 데이터셋 편향(dataset bias)을 완화하는 데 도움이 됩니다.
• 이상치 탐지: 통계 분석 및 모델 가중치를 왜곡할 수 있는 정상 범위를 크게 벗어난 이상 현상(anomalies)이나 이상치(outliers)를 식별하고 처리하는 것이 중요합니다.
• 구조적 수정: 클래스 라벨의 오타를 수정(예: "Car"와 "car" 정정)하여 클래스 일관성(class consistency)을 보장하는 작업을 포함합니다.

Link to this section실제 애플리케이션 사례#

데이터 클렌징은 AI가 배포되는 다양한 산업 전반에서 매우 중요합니다.

• 의료 영상 분석: 의료 AI 애플리케이션에서 데이터셋에는 종종 아티팩트, 잘못된 환자 메타데이터 또는 관련 없는 배경 노이즈가 포함된 스캔 데이터가 있습니다. 이 데이터를 클렌징하면 의료 영상 분석 모델이 진단과 관련된 생체 지표에만 집중할 수 있습니다.
• 소매 재고 관리: 소매 분야의 AI의 경우, 제품 데이터셋에 단종된 품목이나 종횡비가 잘못된 이미지가 포함될 수 있습니다. 이러한 데이터셋을 클렌징하면 객체 탐지(object detection) 모델이 재고 수준을 정확하게 식별하고 실제 환경에서 오탐지를 줄일 수 있습니다.

Link to this section데이터 클렌징과 전처리의 구분#

종종 혼용되기도 하지만 데이터 클렌징은 데이터 전처리(data preprocessing)와는 다릅니다. 데이터 클렌징은 오류 수정과 "나쁜" 데이터 제거에 중점을 둡니다. 반면, 전처리는 이미지 크기 조정(image resizing), 정규화 또는 다양성을 높이기 위한 데이터 증강(data augmentation) 적용과 같이 깨끗한 데이터를 모델에 적합한 형식으로 변환하는 과정을 포함합니다.

Link to this section품질 검사 자동화#

Ultralytics Platform에서 제공되는 것과 같은 최신 워크플로는 학습 시작 전에 손상된 이미지나 라벨 불일치를 식별하기 위한 자동 검사를 통합합니다. 아래는 YOLO26과 같은 모델에 데이터를 입력하기 전 일반적인 단계인, 표준 Pillow 라이브러리를 사용하여 손상된 이미지 파일을 확인하고 식별하는 방법을 보여주는 간단한 Python 예제입니다.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")