Model Merging

モデルマージは、複数の事前学習済みモデルの学習済みパラメータ（重み）を1つの統合されたモデルに組み合わせる、機械学習 (ML)における革新的な手法です。従来のマルチモデル構成とは異なり、マージはパラメータ空間内で直接モデルの重みを融合します。これにより、複数のモデルを同時に実行するメモリコストや計算コストを発生させることなく、異なるタスクやデータセットでファインチューニングされた複数のモデルの専門知識を実践者が組み合わせることができます。

重みに対して直接操作を適用することで、モデルマージは単一のネットワークのアーキテクチャフットプリントを維持します。これは、推論レイテンシの削減とメモリの節約が重要となるエッジデバイスに高度なコンピュータビジョン (CV)パイプラインをデプロイする場合に特に価値があります。

モデルマージの区別#

モデルマージを、モデルアンサンブルや転移学習のような関連概念と区別することは有用です。

• モデルマージ vs. モデルアンサンブル: モデルアンサンブルでは、個々のネットワークを別々に保持し、推論時にそれぞれを実行して出力を平均化します。これにより精度は向上しますが、計算負荷は倍増します。モデルマージでは推論の前に実際の重みを結合するため、実行時に追加の計算を必要としない単一のモデルが得られます。
• モデルマージと転移学習: 転移学習は、ベースモデルを取得し、新しいデータセットでさらにトレーニングすることを含みます。モデルマージに追加のファインチューニングは必要ありません。数学的操作を使用して、すでにトレーニングされたモデルを融合します。

一般的な手法#

arXivに関する最近の学術研究で探求されているように、研究者はネットワークの基礎となる能力を損なうことなく重みを効果的に組み合わせるいくつかの方法を開発してきました。

• 重み平均化: 同じアーキテクチャを共有する複数のモデルからの重みの平均を取る、最も単純な方法です。
• タスク算術 (Task Arithmetic): 「タスクベクトル」（ファインチューニングされたモデルとベースモデルの差分）を加算または減算して、特定の動作を組み合わせたり削除したりする手法です。
• TIESマージ: 余剰な値をトリミングし、モデル間で一貫した符号を選択することでパラメータの干渉を解決し、多様なタスク間でパフォーマンスを維持する高度なアプローチです。

実社会での応用#

モデルマージは、ゼロから再学習することなく汎用的なシステムを構築するのに非常に効果的です。

• 自動運転車: 自動運転車はUltralytics YOLO26ベースモデルを使用する場合があります。エンジニアは、歩行者の微妙な動きを検出するための一つのモデルバージョンと、複雑な道路標識を読み取るためのもう一つのモデルバージョンを独立してトレーニングできます。これら2つのモデルをマージすると、推論時間を倍増させることなく、両方のタスクを同時に処理する単一の高度に有能な検出器が作成されます。
• 医療におけるAI: 医療画像処理において、厳格なデータプライバシー法のため、さまざまな研究病院が特殊なローカルデータセット（例：MRIスキャン用とCTスキャン用）でモデルをファインチューニングする場合があります。モデルを安全にマージすることにより、研究者は多様なデータ分布の恩恵を受ける包括的な診断ツールを作成できます。

例：単純な重み平均化#

PyTorchを使用して、基本的なモデルマージを簡単に実行できます。次の例は、同じ構造を持つ2つのモデルの状態辞書を平均化する方法を示しています。

import torch

# Load the weights (state dicts) from two identical architectures
weights_a = torch.load("yolo26_task1.pt")["model"].state_dict()
weights_b = torch.load("yolo26_task2.pt")["model"].state_dict()

# Perform simple weight averaging
merged_weights = {k: (weights_a[k] + weights_b[k]) / 2.0 for k in weights_a.keys()}

# Save the newly merged model weights
torch.save({"model": merged_weights}, "yolo26_merged.pt")

データセットのアノテーション、トレーニング、およびデプロイの複雑なワークフローを簡素化したいチームのために、Ultralytics PlatformはエンドツーエンドのビジョンAIプロジェクトを簡単に管理するための直感的なインターフェースを提供します。