Data Flywheel

데이터 플라이휠은 배포된 AI 모델이 입력, 예측, 오류, 사용자 피드백을 포함한 데이터를 생성하고, 이 데이터를 선별해 다음 버전을 위한 더 나은 학습 데이터로 만드는 자기 강화 루프입니다. 각 릴리스는 더 많은 사례를 정확하게 처리하고, 더 나은 제품은 더 많은 사용자를 끌어들이며, 사용이 늘어나면 다음 릴리스에 필요한 데이터도 더 많이 생성됩니다. 이 이름은 처음 회전을 시작할 때는 힘이 들지만 이후에는 운동량을 저장하는 기계식 플라이휠에서 유래했습니다.

컴퓨터 비전에서 이 루프의 핵심은 어려운 사례, 즉 디텍터가 객체를 놓치거나 오탐을 내거나 낮은 신뢰도 점수를 기록한 프레임입니다. 시각 검사 시스템은 출시 후 새로운 소재와 반사광을 접하고, 소매 재고 모델은 계절별 포장을 접하므로 이러한 이미지에 라벨을 지정할 가치가 있습니다. Tesla의 Autopilot 팀은 2019년 Autonomy Day에서 데이터 엔진이라고 부른 잘 알려진 사례를 발표했습니다. 네트워크의 성능이 낮았던 사례를 차량군에서 수집해 라벨을 지정하고 학습에 추가했습니다. 대규모 언어 모델을 기반으로 구축된 제품도 평가, 수정, 대화를 통해 같은 루프를 실행하며, 이 데이터는 평가 세트, 파인튜닝, 인간 피드백 기반 강화 학습에 활용됩니다.

데이터 플라이휠 작동 방식#

각 주기는 수집, 검토, 재학습, 릴리스 결정 단계를 거칩니다:

수집 단계에서는 어떤 프로덕션 데이터를 루프에 포함할지 결정합니다. 모든 데이터를 저장하는 것은 비용이 많이 들고 대부분 중복되므로, 시스템은 낮은 신뢰도의 예측, 모델 간 불일치, 사용자 수정, 희귀 클래스, 데이터 드리프트를 나타내는 입력 등 정보를 담은 입력을 보관합니다. 모델에 가장 많은 학습 효과를 줄 예제를 선택하는 작업은 액티브 러닝의 역할입니다.

검토 단계에서는 수집된 입력을 정답 데이터로 변환합니다. 휴먼 인 더 루프 어노테이터가 각 라벨을 확인하거나 수정하고, 중복 항목과 민감한 콘텐츠를 제거합니다. 승인된 예제는 버전이 지정된 데이터셋에 추가되므로 각 모델을 해당 모델의 학습 데이터까지 추적할 수 있습니다.

재학습으로 생성된 후보 모델은 릴리스 전에 고정된 홀드아웃 테스트 세트, 흔히 선별된 골든 데이터셋에서 현재 모델보다 높은 성능을 보여야 합니다. 이후 점진적 배포와 모델 모니터링을 통해 성능 저하를 감지하고 다음 주기를 시작합니다.

Ultralytics Platform은 Agents를 사용해 수집 단계를 자동화합니다. Collect Uncertain Detections 템플릿은 데이터셋의 이미지를 배포된 모델에 입력하고, 0.25~0.5와 같이 선택한 신뢰도 범위에 속하는 디텍션이 하나 이상 있는 이미지를 보관한 다음, 라벨 없이 대상 데이터셋에 추가해 어노테이션 편집기에서 검토할 수 있도록 하는 시각적 워크플로입니다.

플라이휠이 정체되는 이유#

플라이휠의 회전 속도는 가장 느린 단계에 좌우되며, 그 단계는 흔히 사람의 라벨링 작업입니다. 사람의 검토 없이 모델 자체의 예측을 라벨로 다시 입력하면 오류가 스스로 강화됩니다. 예측에 따라 동작하는 시스템은 이후 접하는 데이터에도 영향을 미치므로, 추천 시스템은 자신이 노출하기로 선택한 항목에 관한 정보만 학습합니다. Google 연구자들은 2015년에 이러한 피드백 루프를 머신러닝 시스템의 숨겨진 기술 부채의 원인 중 하나로 꼽았습니다. 유입 데이터에 따라 테스트 세트가 바뀌면 각 버전의 평가에서 성능 저하가 드러나지 않으며, 테스트 예제를 학습에 옮기면 데이터 누수가 발생합니다.

데이터 플라이휠과 관련 용어#

• 데이터 중심 AI: 데이터를 개선해 모델을 개선하는 방식입니다. 플라이휠은 프로덕션에서 데이터를 공급받아 이를 지속적으로 적용합니다.
• 지속 학습: 이전 작업을 치명적으로 망각하지 않으면서 새로운 데이터를 바탕으로 시간에 따라 모델을 업데이트합니다. 대부분의 플라이휠은 각 릴리스에서 증가하는 전체 데이터셋으로 모델을 재학습합니다.
• 머신러닝 운영(MLOps): 플라이휠의 각 주기를 재현 가능하게 유지하는 버전 관리, 학습, 배포, 모니터링용 파이프라인과 도구입니다.
• 네트워크 효과: 제품은 더 많은 사람이 사용할수록 가치가 높아집니다. 데이터 플라이휠은 사용을 통해 경쟁사가 쉽게 수집할 수 없는 데이터가 생성될 때에만 지속적인 이점을 제공합니다.