Data Drift

데이터 드리프트는 배포된 모델이 받는 입력 데이터의 통계적 분포가 모델을 학습시킨 데이터와 달라지는 현상입니다. 모델은 운영 환경의 입력이 학습 데이터와 같은 분포에서 나온다고 가정하며, 이 가정이 깨지면 오류 메시지나 모델 코드 또는 가중치의 변경 없이도 정확도가 하락할 수 있습니다. 비전 시스템에서 흔히 발생하는 원인으로는 새 카메라나 렌즈, 조명 및 계절 변화, 카메라 각도 변경, 새로운 제품 포장, 이미지 압축 설정 변경과 같은 상위 파이프라인 변경이 있습니다. 드리프트를 탐지하고 대응하는 일은 모델 모니터링과 머신러닝 운영(MLOps)의 핵심 작업입니다.

분포 변화의 유형#

분류기는 입력이 주어졌을 때 라벨이 나타날 확률을 모델링하며, 입력, 라벨 또는 둘 사이의 관계에서 변화가 발생할 수 있습니다.

• 공변량 변화: 입력 분포는 달라지지만 어떤 입력에 대한 정답 라벨은 그대로 유지됩니다. 주간 이미지로 학습한 탐지기가 해 질 무렵의 영상을 받기 시작해도 자동차는 여전히 자동차이므로 공변량 변화가 발생한 것입니다. 좁은 의미의 데이터 드리프트는 이 경우를 가리킵니다.
• 라벨 변화: 사전 확률 변화라고도 하며, 클래스별 빈도가 달라집니다. 생산 라인의 불량률이 1%에서 5%로 증가하면 탐지기가 발생시키는 경보 중 실제 경보가 차지하는 비율도 높아지므로, 모델과 각 불량의 외관이 달라지지 않아도 정밀도는 변합니다.
• 개념 드리프트: 입력과 라벨 간의 관계가 달라져 동일한 입력에 이제 다른 라벨을 부여해야 합니다. 사기범이 적응하면서 사기 패턴이 진화하고, 품질 기준이 엄격해지면 이전에는 승인되었던 부품이 불량 판정을 받습니다.

드리프트는 카메라 교체와 같이 갑작스럽게, 렌즈에 먼지가 쌓이는 것처럼 점진적으로, 또는 계절에 따른 잎과 눈의 변화처럼 반복적으로 발생할 수 있습니다.

데이터 드리프트 탐지#

드리프트 탐지는 기준 샘플(보통 학습 또는 검증 데이터)과 최근 운영 데이터 구간을 비교합니다. 라벨이 없는 경우 팀은 두 입력 분포가 다른지 검정하며, 연속형 특성에는 두 표본 콜모고로프-스미르노프(KS) 검정, 범주형 특성에는 카이제곱 검정, 신용 평가에서 널리 사용하는 모집단 안정성 지수(PSI)를 활용합니다. 원시 픽셀은 고차원이므로 직접 비교하기 어렵습니다. 따라서 이미지 모니터링에서는 밝기와 선명도 같은 요약 통계 또는 사전 학습된 네트워크의 임베딩을 검사합니다. 변화 탐지 방법 연구에 따르면 사전 학습된 분류기의 표현을 사용한 두 표본 검정이 가장 효과적이었습니다. 모델 자체의 출력도 두 번째 신호가 됩니다. 예측 클래스 빈도, 이미지당 박스 수 또는 신뢰도 점수의 변화는 정확도를 측정하기 전에 나타나는 경우가 많습니다.

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Mean brightness (0-255) of 500 training images and two batches of 200 production images
reference = rng.normal(130, 25, 500)
same_light = rng.normal(130, 25, 200)
dusk = rng.normal(110, 25, 200)

# Two-sample Kolmogorov-Smirnov test: a small p-value means the distributions differ
for name, batch in (("same light", same_light), ("dusk", dusk)):
    result = ks_2samp(reference, batch)
    drifted = result.pvalue < 0.01
    print(f"{name}: KS statistic {result.statistic:.3f}, p-value {result.pvalue:.2g}, drift {drifted}")

학습 분포에서 추출한 배치의 KS 통계량은 0.046이고 p값은 0.91입니다. 평균 밝기가 20레벨 낮아진 배치의 KS 통계량은 0.346이고 p값은 1.1e-15이므로 드리프트로 표시됩니다. KS 통계량은 두 누적 분포 사이의 최대 간격입니다. 표본이 매우 크면 무해한 변화도 매우 작은 p값을 만들 수 있으므로 드리프트 경보는 p값만 사용하는 대신 변화의 크기를 측정하는 KS 통계량 자체를 기준으로 설정하는 경우가 많습니다.

드리프트 대응#

탐지된 변화로 정확도가 낮아졌는지는 새로운 라벨이 있어야 알 수 있습니다. 일반적인 대응 방식은 최근 운영 데이터의 일부를 추출해 라벨을 지정하고, 해당 데이터에서 평균 정밀도(mAP) 또는 다른 작업 지표를 측정한 다음, 성능이 떨어졌으면 새로운 데이터와 기존 데이터를 섞어 재학습하거나 파인튜닝하는 것입니다. 치명적 망각을 방지하려면 기존 예제도 학습 데이터에 포함해야 합니다. 밝기, 블러, 색상 변경 등의 데이터 증강은 예상 가능한 변동에 대비하도록 모델을 준비하며, 비지도 도메인 적응은 라벨이 없는 대상 도메인 데이터를 사용해 모델을 새로운 도메인에 맞춥니다. Ultralytics Platform에서 전용 엔드포인트의 모니터링 탭은 해당 엔드포인트가 처리하는 이미지의 시간별 평균 예측 신뢰도, 클래스 개수, 박스 크기와 위치를 차트로 표시합니다. 최근 예제는 검토 및 재학습을 위해 데이터셋에 저장할 수 있습니다.

데이터 드리프트와 관련 용어 비교#

• 모델 드리프트: 데이터 드리프트와 개념 드리프트로 인해 시간이 지나면서 모델 성능이 하락하는 현상입니다. 모델 성능 저하라고도 합니다.
• 학습-서빙 편향: 서로 다른 리사이즈 방식처럼 두 파이프라인의 처리 방식이 달라 학습 데이터와 운영 데이터가 불일치하는 현상입니다. 시간이 지나면서 발생하는 것이 아니라 배포 첫날부터 나타납니다.
• 이상 탐지: 손상된 단일 프레임처럼 정상 범위에서 벗어난 개별 입력을 표시합니다. 드리프트 탐지는 전체 분포를 비교하고, 일주일 동안 이미지가 일관되게 어두워진 경우를 표시합니다.
• 분포 외(OOD) 탐지: 각 입력이 학습 데이터와 얼마나 다른지 점수화하며, 일반적으로 해당 입력에 대해 모델이 예측을 보류하거나 사람에게 판단을 맡기도록 합니다.