Model Editing

モデル編集とは、完全な再トレーニングを行わずに、特定の動作を学習、修正、または削除するよう、トレーニング済みの機械学習モデルを対象を絞って変更することです。編集では、選択したモデルの重みを変更したり、小規模なメモリモジュールを追加したり、推論時に出力先を変更したりします。この用語は通常、大規模言語モデルの知識を修正することを指しますが、マルチモーダルモデルや視覚系の基盤モデルにも適用されるようになっています。3Dオブジェクトや生成画像を編集することを意味するものではありません。

モデル編集の仕組み#

モデル編集のリクエストでは通常、入力、以前の応答、望ましい応答を指定します。2024年の包括的な知識編集研究で説明されている手法は、一般に、内部パラメーターの更新、モデルへの新しい知識の統合、外部知識の参照という3つのグループに分類されます。(arxiv.org)

モデル編集は、関連する次の技術とは異なります。

• ファインチューニング: データセット全体にわたって動作を更新するのに対し、モデル編集は範囲を絞った局所的な変更を目指します。
• EasyEdit知識編集フレームワーク: 言語モデル向けに、パラメーター、メモリ、メタラーニングを利用した実用的な編集手法を示します。(aclanthology.org)
• 検索拡張生成: 基盤となるパラメーターを変更せずに、最新の情報を提供します。
• 機械アンラーニング: 知識を置き換えたり追加したりするのではなく、学習済みの情報を削除することを目指します。
• モデルマージ: 1回の正確な編集を行うのではなく、複数のトレーニング済みモデルや更新内容を組み合わせます。

評価とリスク#

編集が成功したとみなされるには、対象のリクエストに対する信頼性、言い換えられた入力に対する一般性、無関係な動作への局所性、関連する推論タスクへの移植性を満たす必要があります。知識編集の落とし穴、一般能力の低下、隣接知識の摂動に関する研究から、一見正しい編集でも、無関係な回答や推論能力が変化する可能性が示されています。(openreview.net)

編集を繰り返すと、壊滅的忘却が発生することもあります。2025年の知識編集手法の評価研究で示されているように、結果は評価指標やバッチサイズに大きく左右される場合があります。マルチモーダル評価は、視覚と言語の編集を対象とするVLKEBや、多様な視覚知識を対象とするMMKE-Benchを通じて拡大しています。(aclanthology.org)

実世界での利用例#

• 生涯学習型視覚言語モデルの更新: 視覚アシスタントは、新たに登場した製品や修正されたランドマークの識別を学習しながら、以前の視覚知識を保持できます。
• 医療分野における視覚言語モデルの修正: 画像とテキストのさまざまなバリエーションにわたって、古くなった用語や診断知識を更新した後の臨床システムを評価できます。(arxiv.org)
• コンピュータービジョンの適応: 検査モデルを更新して、新しい欠陥の種類を認識させることができます。完全なトレーニングパイプラインを再構築する必要はありません。

現在のベストプラクティス#

元のチェックポイントを保持し、効果のある最小限の更新を使用して、デプロイ前に幅広いモデルテストを実行してください。最近の研究では、重みの編集をコンテキストベースのアプローチと比較することが推奨されています。後者は現実的な条件下でより堅牢である可能性があり、長い編集シーケンスをテストして干渉を確認することも重要です。(arxiv.org)本番チームは、編集ログ、ロールバック手段、安全性テスト、継続的なモデルモニタリングを維持する必要があります。

Ultralyticsのワークフローにおけるモデル編集#

Ultralytics YOLO26では、対象を絞ったトレーニングが、広範なモデル編集に相当する実用的な方法です。この例では、小規模なデータセットを使用して事前トレーニング済みの検出モデルを更新し、その後検証を適用して、意図しない性能変化を検出します。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=1)
metrics = model.val()
print(metrics.box.map)

PyTorchのモデル保存に関するガイダンスを使用してバージョン管理されたチェックポイントを保持し、Ultralytics Platformを使用してデータにアノテーションを付け、更新済みモデルをトレーニングし、改訂版をデプロイして、本番環境の性能をモニタリングしてください。