Data Flywheel

データフライホイールとは、デプロイ済みのAIモデルが入力、予測、誤り、ユーザーフィードバックなどのデータを生成し、それを次のバージョン向けのより優れたトレーニングデータとしてキュレーションする、自己強化型のループです。リリースを重ねるごとに正しく処理できるケースが増え、製品の改善によって利用者が増え、利用者の増加によって次のリリースに必要なデータも増えます。この名称は、回転を始めるには力が必要ですが、その後は勢いを蓄える機械式フライホイールに由来します。

コンピュータービジョンでは、このループの中心となるのは難しいケースです。つまり、検出器が物体を見逃したり、誤検知したり、信頼度を低く判定したりしたフレームです。外観検査システムは導入後に新しい素材や反射に遭遇し、小売在庫モデルは季節ごとのパッケージに対応するため、こうした画像こそラベル付けする価値があります。TeslaのAutopilotチームは、2019年のAutonomy Dayでデータエンジンと呼ぶ、よく知られた仕組みを発表しました。ネットワークの性能が低かったケースを車両群から収集してラベル付けし、トレーニングに追加しました。大規模言語モデルを基盤とする製品も、評価、編集、会話を使って同じループを実行し、それらを評価セット、ファインチューニング、人間のフィードバックによる強化学習に活用します。

データフライホイールの仕組み#

各サイクルは、データの収集、レビュー、再トレーニング、リリース判断を経て進みます。

収集段階では、どの本番データをループに取り込むかを決めます。すべてを保存するのはコストがかかり、重複も多いため、システムは情報量のある入力を保持します。たとえば、信頼度の低い予測、モデル間の不一致、ユーザーによる修正、まれなクラス、データドリフトの兆候を示す入力です。モデルの学習に最も役立つサンプルを選ぶのが、アクティブラーニングの役割です。

レビューでは、収集した入力をグラウンドトゥルースに変換します。Human-in-the-loopのアノテーターが各ラベルを確認または修正し、重複や機密コンテンツを削除します。承認されたサンプルはバージョン管理されたデータセットに追加されるため、すべてのモデルについて、トレーニングに使われたデータを追跡できます。

再トレーニングで候補モデルを作成し、リリース前に、固定されたホールドアウトテストセット（多くの場合、精選されたゴールデンデータセット）で現行モデルを上回る必要があります。その後、段階的なロールアウトとモデルモニタリングで性能低下を検出し、次のサイクルを開始します。

Ultralytics Platformは、視覚的なワークフローであるAgentsを使ってデータ収集の手順を自動化します。Collect Uncertain Detectionsテンプレートは、データセットの画像をデプロイ済みモデルに入力し、0.25～0.5など選択した信頼度範囲内の検出が少なくとも1つある画像を保持します。その後、ラベルを付けずに保存先のデータセットに追加し、アノテーションエディターでレビューできるようにします。

フライホイールが停滞する理由#

フライホイールの回転速度は最も遅い段階に左右され、人手によるラベル付けがその段階になることは珍しくありません。人間のレビューなしでモデル自身の予測をラベルとして戻すと、誤りが自己強化されます。また、予測に基づいて動作するシステムは、次に取り込むデータにも影響を与えます。そのため、レコメンダーは自ら表示することを選んだアイテムだけを学習するようになります。Googleの研究者は2015年、こうしたフィードバックループを機械学習システムにおける隠れた技術的負債の原因の1つに挙げました。流入するデータに合わせて変化するテストセットで各バージョンを評価すると性能低下が隠れ、テストサンプルをトレーニングに移すとデータリークが発生します。

データフライホイールと関連用語#

• データセントリックAI：データを改善することでモデルを改善する手法です。フライホイールは、本番環境からデータを継続的に供給することで、この手法を適用します。
• 継続学習：以前のタスクを壊滅的忘却せずに、新しいデータでモデルを継続的に更新します。一方、多くのフライホイールでは、リリースごとに拡大するデータセット全体を使って再トレーニングします。
• 機械学習運用（MLOps）：フライホイールの各サイクルを再現可能にする、バージョン管理、トレーニング、デプロイ、モニタリングのパイプラインとツールです。
• ネットワーク効果：利用者が増えるほど製品の価値が高まります。データフライホイールが持続的な優位性をもたらすのは、競合他社が容易に収集できないデータが利用によって生み出される場合に限られます。