데이터 드리프트

데이터 드리프트는 머신 러닝(ML)에서 흔히 발생하는 문제로, 모델이 프로덕션에서 접하는 데이터의 통계적 속성이 구축된 훈련 데이터에 비해 시간이 지남에 따라 변경될 때 발생합니다. 이러한 변화는 모델이 준비되지 않은 데이터에서 작동하고 있음을 의미하며, 이는 예측 성능의 눈에 띄지 않지만 상당한 저하로 이어질 수 있습니다. 데이터 드리프트를 효과적으로 관리하는 것은 MLOps 수명 주기의 중요한 구성 요소이며, 모델 배포 후에도 인공 지능(AI) 시스템이 안정적으로 유지되도록 보장합니다. 사전 예방적인 모델 모니터링 없이는 이 문제가 감지되지 않아 잘못된 의사 결정과 부정적인 비즈니스 결과로 이어질 수 있습니다.

데이터 드리프트 vs. 개념 드리프트

데이터 드리프트를 관련된 문제인 개념 드리프트와 구별하는 것이 중요합니다. 둘 다 모델 성능을 저하시킬 수 있지만, 그 원인은 서로 다릅니다.

• 데이터 드리프트: 특성 또는 공변량 드리프트라고도 하는 이 현상은 입력 데이터의 분포가 변경되지만 입력과 출력 간의 기본 관계는 일정하게 유지될 때 발생합니다. 예를 들어 한 유형의 카메라에서 가져온 이미지로 훈련된 컴퓨터 비전 모델은 센서 속성이 다른 새 카메라에서 가져온 이미지에서 성능이 저하될 수 있습니다. 감지되는 객체의 정의는 동일하지만 입력 데이터의 특성이 변경되었습니다.
• 개념 드리프트: 이는 대상 변수의 통계적 속성이 시간이 지남에 따라 변할 때 발생합니다. 입력 특징과 출력 변수 간의 근본적인 관계가 변경됩니다. 예를 들어, 금융 사기 탐지 시스템에서 사기꾼이 사용하는 전술이 진화하여 '사기성' 거래를 구성하는 요소가 변경됩니다. 개념 드리프트에 대한 자세한 내용은 학술 문헌에서 확인할 수 있습니다.

실제 사례

1. 소매 재고 관리: AI 기반 소매 시스템은 카메라 피드와 Ultralytics YOLO11과 같은 객체 감지 모델을 사용하여 선반 재고를 모니터링합니다. 이 모델은 특정 제품 포장 세트에 대해 학습됩니다. 공급업체가 포장 디자인을 변경하거나 매장에서 조명을 업그레이드하면 데이터 드리프트가 발생합니다. 새로운 시각적 데이터는 원래 학습 데이터 세트와 다르므로 모델이 제품을 인식하지 못하여 부정확한 재고 계산으로 이어질 수 있습니다.
2. 자율 주행 차량: 자율 주행 자동차는 특정 지리적 위치 및 기상 조건에서 수집된 방대한 양의 센서 데이터로 학습된 모델을 사용합니다. 자동차가 새로운 도시에 배치되거나 눈과 같이 드문 기상 현상을 처음 접하는 경우 인식 시스템은 데이터 드리프트에 직면합니다. 입력 분포(예: 도로 표시, 교통 표지판, 보행자 행동)가 학습 경험과 크게 다르므로 안전을 위협하고 즉각적인 주의가 필요할 수 있습니다. Waymo 및 기타 자율 주행 회사는 이를 감지하고 완화하는 데 막대한 투자를 하고 있습니다.

데이터 드리프트 감지 및 해결에는 여러 기술이 필요합니다.

데이터 드리프트를 감지하고 해결하는 것은 모니터링 및 유지 관리 전략의 조합을 포함하는 지속적인 프로세스입니다.

검출 방법

• 통계적 모니터링: 들어오는 데이터의 분포를 훈련 데이터와 비교하기 위해 통계 테스트를 적용합니다. 일반적인 방법으로는 Kolmogorov-Smirnov 테스트, PSI(Population Stability Index) 또는 카이 제곱 테스트가 있습니다.
• 통계적 모니터링: 들어오는 데이터의 분포를 학습 데이터와 비교하기 위해 통계적 테스트를 적용합니다. 일반적인 방법으로는 Kolmogorov-Smirnov 테스트, PSI(Population Stability Index) 또는 카이 제곱 테스트가 있습니다.
• 모니터링 도구: 프로덕션 환경에서 ML 모델을 모니터링하도록 설계된 특수 관찰성 플랫폼을 활용합니다. 오픈 소스 옵션에는 Prometheus 및 Grafana가 포함되어 있으며 Evidently AI 및 NannyML과 같은 전용 ML 도구는 보다 구체적인 드리프트 탐지 기능을 제공합니다. 클라우드 공급자는 AWS SageMaker Model Monitor 및 Google Cloud의 Vertex AI Model Monitoring과 같은 솔루션도 제공합니다.

완화 전략

• 재학습: 가장 간단한 전략은 현재 생산 환경을 반영하는 신선한 최신 데이터로 모델을 정기적으로 재학습하는 것입니다. Ultralytics HUB와 같은 플랫폼은 간편한 재학습 및 배포 워크플로우를 지원합니다.
• 온라인 학습: 이는 새로운 데이터가 도착함에 따라 모델을 점진적으로 업데이트하는 것을 포함합니다. 노이즈가 많은 데이터에 민감할 수 있고 모델 성능이 예측할 수 없이 변동될 수 있으므로 주의해서 사용해야 합니다.
• 데이터 증강: 초기 훈련 단계에서 데이터 증강 기술을 적극적으로 사용하면 조명, 스케일 또는 방향의 변화와 같은 특정 유형의 변화에 모델이 더 강력해질 수 있습니다.
• 도메인 적응: 소스 데이터 분포에서 학습된 모델을 서로 다르지만 관련된 대상 데이터 분포에 명시적으로 적응시키기 위해 고급 기술을 사용합니다. 이는 활발한 ML 연구 분야입니다.

데이터 드리프트를 효과적으로 관리하는 것은 PyTorch 또는 TensorFlow와 같은 프레임워크로 구축된 AI 시스템이 정확성을 유지하고 운영 수명 동안 가치를 제공하는 데 매우 중요합니다. 모델 유지 관리 모범 사례에 대한 자세한 내용은 블로그에서 확인할 수 있습니다.