데이터 드리프트

데이터 드리프트는 머신 러닝(ML) 에서 흔히 발생하는 문제로, 모델이 구축된 학습 데이터와 비교하여 시간이 지남에 따라 운영 환경에서 접하는 데이터의 통계적 특성이 변경될 때 발생합니다. 이러한 변화는 모델이 준비되지 않은 데이터로 작동한다는 것을 의미하며, 이로 인해 예측 성능이 소리 없이 크게 저하될 수 있습니다. 데이터 드리프트를 효과적으로 관리하는 것은 모델 배포 후에도 인공 지능(AI) 시스템의 안정성을 유지하는 MLOps 라이프사이클의 중요한 구성 요소입니다. 사전 모델 모니터링이 없으면 이 문제를 감지하지 못해 잘못된 의사 결정과 부정적인 비즈니스 결과로 이어질 수 있습니다.

데이터 드리프트 대 개념 드리프트

데이터 드리프트와 관련 문제인 개념 드리프트를 구별하는 것이 중요합니다. 둘 다 모델 성능을 저하시킬 수 있지만 그 원인은 다릅니다.

• 데이터 드리프트: 특징 또는 공변량 드리프트라고도 하는 이 현상은 입력 데이터의 분포는 변하지만 입력과 출력 간의 기본 관계는 일정하게 유지될 때 발생합니다. 예를 들어, 한 카메라의 이미지로 학습된 컴퓨터 비전 모델이 센서 속성이 다른 새 카메라의 이미지에서는 제대로 작동하지 않을 수 있습니다. 감지되는 물체의 정의는 동일하지만 입력 데이터의 특성이 바뀌었기 때문입니다.
• 개념 드리프트: 이는 대상 변수의 통계적 특성이 시간이 지남에 따라 변화할 때 발생합니다. 입력 특징과 출력 변수 사이의 근본적인 관계가 변경됩니다. 예를 들어, 금융 사기 탐지 시스템에서는 사기범들이 사용하는 수법이 진화하면서 '사기성' 거래에 대한 정의가 달라집니다. 개념 드리프트에 대한 자세한 설명은 학술 문헌에서 찾아볼 수 있습니다.

실제 사례

1. 소매점 재고 관리: AI 기반 리테일 시스템은 카메라 피드와 Ultralytics YOLO11과 같은 객체 감지 모델을 사용하여 진열대 재고를 모니터링합니다. 이 모델은 특정 제품 포장 세트에 대해 학습됩니다. 공급업체가 포장 디자인을 변경하거나 매장의 조명을 업그레이드하면 데이터 드리프트가 발생합니다. 새로운 시각적 데이터는 원래의 학습 데이터 세트와 달라서 모델이 제품을 인식하는 데 실패하여 부정확한 재고 계산을 초래할 수 있습니다.
2. 자율주행 차량: 자율주행차는 특정 지리적 위치와 기상 조건에서 수집한 방대한 양의 센서 데이터로 학습된 모델을 사용합니다. 자동차가 새로운 도시에 배치되거나 눈과 같은 드문 기상 이변을 처음 만나게 되면 인식 시스템이 데이터 드리프트에 직면하게 됩니다. 입력(예: 노면 표시, 교통 표지판, 보행자 행동)의 분포가 훈련 경험과 크게 달라져 안전이 손상될 수 있으며 즉각적인 주의가 필요합니다. Waymo와 다른 자율 주행 회사는 이를 감지하고 완화하는 데 많은 투자를 하고 있습니다.

데이터 드리프트 감지 및 완화

데이터 드리프트를 감지하고 해결하는 것은 모니터링 및 유지 관리 전략의 조합을 포함하는 지속적인 프로세스입니다.

탐지 방법

• 성능 모니터링: 시간 경과에 따른 정확도, 리콜, F1 점수 등의 주요 모델 메트릭을 추적하면 드리프트로 인한 성능 저하를 파악할 수 있습니다. 이러한 메트릭을 시각화하는 데는 TensorBoard와 같은 도구가 도움이 될 수 있습니다.
• 통계 모니터링: 통계적 테스트를 적용하여 들어오는 데이터의 분포를 학습 데이터와 비교합니다. 일반적인 방법으로는 콜모고로프-스미르노프 테스트, 인구 안정성 지수(PSI) 또는 카이제곱 테스트가 있습니다.
• 모니터링 도구: 프로덕션 환경에서 ML 모델을 모니터링하도록 설계된 전문화된 통합 가시성 플랫폼을 활용합니다. 오픈 소스 옵션으로는 Prometheus와 Grafana가 있으며, 전용 ML 도구인 Evidently AI와 NannyML은 보다 구체적인 드리프트 감지 기능을 제공합니다. 클라우드 제공업체도 AWS SageMaker Model Monitor 및 Google Cloud의 Vertex AI Model Monitoring과 같은 솔루션을 제공합니다.

완화 전략

• 재교육: 가장 간단한 전략은 현재 프로덕션 환경을 반영하는 최신 데이터로 모델을 정기적으로 재교육하는 것입니다. Ultralytics HUB와 같은 플랫폼은 재교육 및 배포 워크플로우를 쉽게 수행할 수 있도록 지원합니다.
• 온라인 학습: 여기에는 새로운 데이터가 도착하면 모델을 점진적으로 업데이트하는 것이 포함됩니다. 노이즈가 많은 데이터에 민감할 수 있고 모델의 성능이 예측할 수 없이 변동될 수 있으므로 주의해서 사용해야 합니다.
• 데이터 증강: 초기 학습 단계에서 데이터 증강 기술을 적극적으로 사용하면 조명, 스케일 또는 방향의 변화와 같은 특정 유형의 변화에 대해 모델을 더욱 강력하게 만들 수 있습니다.
• 도메인 적응: 소스 데이터 분포에 대해 학습된 모델을 다른 관련 대상 데이터 분포에 명시적으로 적용하는 고급 기법을 사용합니다. 이는 ML 연구에서 활발히 연구되고 있는 분야입니다.

데이터 드리프트를 효과적으로 관리하는 것은 PyTorch 또는 TensorFlow와 같은 프레임워크로 구축된 AI 시스템이 운영 수명 내내 정확성을 유지하고 가치를 제공하도록 보장하는 데 필수적입니다. 모델 유지 관리 모범 사례에 대한 자세한 내용은 블로그에서 확인할 수 있습니다.