Data Flywheel

数据飞轮是一种自我强化的循环：已部署的 AI 模型会生成数据，包括输入、预测、错误和用户反馈；这些数据经过整理后，成为下一版本更好的训练数据。每次发布都能更准确地处理更多情况，更好的产品会吸引更多使用，而更多使用又会产生下一次发布所需的更多数据。这个名称源自机械飞轮：启动时需要用力推动，转动起来后便能储存动能。

在计算机视觉中，循环的核心是难例：检测器漏掉目标、误报或置信度较低的那些帧。视觉检测系统上线后会遇到新的材料和反光，零售库存模型则会遇到季节性包装，因此这些图像最值得标注。Tesla 的 Autopilot 团队在 2019 年 Autonomy Day 上介绍了一个广为人知的版本，并称之为数据引擎：他们从车队中收集网络表现不佳的案例，进行标注后加入训练。基于大型语言模型构建的产品也通过评分、编辑和对话运行相同的循环，并将这些内容用于评估集、微调和基于人类反馈的强化学习。

数据飞轮的工作原理#

每一轮都要经过采集、审核、重新训练和发布决策：

采集环节决定哪些生产数据进入循环。存储所有数据既昂贵又大多重复，因此系统会保留信息量较大的输入：低置信度预测、模型间的分歧、用户更正、稀有类别，以及显示数据漂移的输入。挑选最能帮助模型学习的样本，是主动学习要解决的问题。

审核环节将采集到的输入转化为真实标签。人在环路中的标注人员会确认或更正每个标签，删除重复内容和敏感内容；获批样本随后加入带版本管理的数据集，以便将每个模型追溯到用于训练它的数据。

重新训练会生成候选模型；发布之前，候选模型必须在固定的留出测试集（通常是精心整理的黄金数据集）上优于当前模型。随后，逐步发布和模型监控会发现性能回退，并启动下一轮循环。

Ultralytics Platform通过Agents自动执行采集步骤。Agents 是可视化工作流，其 Collect Uncertain Detections 模板会将数据集图像输入已部署的模型，保留至少包含一个置信度落在所选范围（例如 0.25 到 0.5）内的检测结果的图像，并将这些未标注图像添加到目标数据集中，供你在标注编辑器中审核。

飞轮为何会停滞#

飞轮的转速取决于最慢的阶段，而这个阶段往往是人工标注。如果不经人工审核，就把模型自己的预测作为标签反馈回去，错误就会自我强化。会根据预测采取行动的系统也会影响它接下来看到的数据，因此推荐系统只会学习它自己选择展示的商品；Google 研究人员在 2015 年将这类反馈循环列为机器学习系统中隐藏的技术债务的来源之一。如果使用随输入数据不断变化的测试集评估每个版本，性能回退就会被掩盖；把测试样本移入训练集则会造成数据泄漏。

数据飞轮与相关术语#

• 以数据为中心的 AI：通过改进数据来提升模型的实践。飞轮会持续应用这一做法，由生产环境不断提供数据。
• 持续学习：随着时间推移，使用新数据更新模型，同时避免灾难性遗忘先前任务。大多数飞轮则是在每次发布时，使用不断增长的完整数据集重新训练。
• 机器学习运维（MLOps）：用于版本管理、训练、部署和监控的流水线与工具，确保飞轮每一轮都可复现。
• 网络效应：产品会随着使用者增多而变得更有价值。只有当这种使用能产生竞争对手难以收集的数据时，数据飞轮才会带来持久优势。