Data Cleaning

데이터 정제는 레코드 집합, 테이블 또는 데이터베이스에서 손상되었거나 부정확하거나 관련 없는 레코드를 감지하고 수정(또는 제거)하는 중요한 프로세스입니다. 인공지능 (AI) 및 머신러닝 (ML) 분야에서 이 단계는 흔히 워크플로에서 가장 시간이 많이 소요되지만 필수적인 부분으로 간주됩니다. YOLO26과 같은 모델이 객체를 효과적으로 인식하는 방법을 학습하기 전에, "Garbage In, Garbage Out" 현상을 방지하려면 학습 데이터에서 오류를 제거해야 합니다. 이 현상은 입력 품질이 낮으면 신뢰할 수 없는 출력으로 이어지는 것을 의미합니다.

AI에서 데이터 무결성의 중요성#

고성능 컴퓨터 비전 모델은 사용하는 데이터세트의 품질에 크게 의존합니다. 데이터세트에 잘못된 라벨이 지정된 이미지, 중복 이미지 또는 손상된 파일이 포함되어 있으면 모델이 패턴을 일반화하는 데 어려움을 겪게 되고, 과적합 또는 낮은 추론 정확도로 이어집니다. 효과적인 데이터 정제는 예측 모델의 신뢰성을 높이고 알고리즘이 노이즈가 아닌 유효한 신호를 학습하도록 합니다.

일반적인 데이터 정제 기법#

실무자는 테이블 형식 데이터에 Pandas와 같은 도구를 사용하거나 특화된 비전 도구를 활용하여 다양한 전략으로 데이터세트를 정제합니다.

• 결측값 처리: 결측 데이터가 있는 레코드를 제거하거나 통계적 평균 또는 최근접 이웃을 기반으로 빈 부분을 채우는 대치 기법을 사용하는 방법이 있습니다.
• 중복 제거: 학습 세트의 중복 이미지는 의도치 않게 모델에 편향을 줄 수 있습니다. 중복을 제거하면 모델이 특정 예시를 암기하지 않게 되어 데이터세트 편향을 완화하는 데 도움이 됩니다.
• 이상치 탐지: 표준에서 크게 벗어나는 이상 또는 이상치를 식별하고 처리하는 것이 중요합니다. 이러한 값은 통계 분석과 모델 가중치를 왜곡할 수 있기 때문입니다.
• 구조적 수정: 클래스 일관성을 보장하기 위해 클래스 라벨의 오타(예: "Car"와 "car"를 동일하게 수정)를 고치는 작업이 포함됩니다.

실제 적용 사례#

데이터 정제는 AI가 배포되는 다양한 산업에서 매우 중요합니다.

• 의료 이미지 분석: 헬스케어 AI 애플리케이션의 데이터세트에는 아티팩트가 포함된 스캔, 잘못된 환자 메타데이터 또는 관련 없는 배경 노이즈가 포함되는 경우가 많습니다. 이러한 데이터를 정제하면 의료 이미지 분석 모델이 진단과 관련된 생물학적 지표에만 집중할 수 있습니다.
• 소매 재고 관리: 소매업의 AI에서는 제품 데이터세트에 단종된 품목이나 잘못된 종횡비의 이미지가 포함될 수 있습니다. 이러한 데이터세트를 정제하면 객체 탐지 모델이 재고 수준을 정확하게 식별하고 실시간 환경에서 오탐을 줄일 수 있습니다.

데이터 정제와 전처리의 구분#

데이터 정제는 흔히 데이터 전처리와 같은 의미로 사용되지만, 서로 구분되는 개념입니다. 데이터 정제는 오류를 수정하고 "불량" 데이터를 제거하는 데 중점을 둡니다. 반면 전처리는 정제된 데이터를 이미지 크기 조정, 정규화 또는 다양성을 높이기 위한 데이터 증강 적용과 같이 모델에 적합한 형식으로 변환하는 작업입니다.

품질 검사 자동화#

Ultralytics Platform에서 제공하는 것과 같은 최신 워크플로는 학습이 시작되기 전에 손상된 이미지나 라벨 불일치를 식별하는 자동 검사를 통합합니다. 아래는 일반적으로 Pillow 라이브러리를 사용하여 손상된 이미지 파일을 검사하고 식별하는 방법을 보여 주는 간단한 Python 예제입니다. 이는 YOLO26과 같은 모델에 데이터를 입력하기 전에 수행하는 일반적인 단계입니다.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")