Task Vectors

タスクベクターは、新しい能力を獲得するためにファインチューニング中にニューラルネットワークのウェイトに加えられた具体的な変更を表すものです。基礎モデルのパラメータをファインチューニングされたモデルのパラメータから差し引くことで、研究者はその特定のタスクに対する学習済み動作をカプセル化した、ウェイト空間上の方向ベクトルを分離できます。この手法により、開発者はモデルのパラメータに対して単純な算術演算を行うことで、追加の学習計算リソースを必要とせずに、モデルの動作を制御、修正、またはマージすることが可能になります。

タスクベクターと転移学習の違い

転移学習の概念が既存の知識を適応させるために新しいデータセットで順次モデルを学習させることを含むのに対し、タスクベクターは学習後のモデルの構造的ウェイトに対して直接作用します。新しいドメインを学習するために勾配を再学習する代わりに、タスクベクターを用いたウェイト空間補間により、実践者は独立して学習された複数のモデルのウェイト差分を線形結合することができます。これによりゼロショットのモデルマージが可能になり、一般的な学習時の計算オーバーヘッドなしで、単一のモデルが複数の能力を同時に継承できるようになります。

現実世界のアプリケーション

ディープラーニングモデルを代数的に操作する能力は、現代のAIパイプラインにおいていくつかの影響力のあるアプリケーションにつながっています：

• マルチタスクモデルマージ: エンジニアは、物体検出用に最適化されたタスクベクターと、画像セグメンテーション用に学習された別のベクターを組み合わせることができます。Ultralytics YOLO26のベースモデルに適用すると、両方のタスクで同時に優れた性能を発揮するデュアルパーパスアーキテクチャが作成され、それぞれのオリジナルのファインチューニングの強みが保持されます。
• 機械学習の忘却とAIの安全性: モデルが偏った、あるいは危険な出力を示す場合、研究者はその特定の望ましくない動作を表すタスクベクターを計算できます。このベクトルをモデルのウェイトから差し引くことで、その動作を効果的に「消去」でき、AIの安全性の向上と堅牢なAI倫理基準に大きく貢献します。
• コンピュータビジョンにおけるドメイン適応: 日中から夜間へのリアルタイム推論の移行のように、特定の環境に合わせてモデルを適応させる際、タスクベクターを使用すると適応の大きさを調整できます。ベクターの一部（スケーリング係数0.5など）を適用することで、両方のドメインで良好に機能するバランスの取れたモデルを作成できます。

PyTorchにおけるタスクベクターの操作

タスクベクターの作成と適用には、PyTorchステート辞書へのアクセスと操作が必要です。以下の例では、ファインチューニングされたYOLO26モデルからタスクベクターを抽出し、特定のスケーリング係数でベースモデルに適用する方法を示します。

from ultralytics import YOLO

# Load the state dictionaries for the base and fine-tuned models
base_weights = YOLO("yolo26n.pt").model.state_dict()
tuned_weights = YOLO("yolo26n-custom.pt").model.state_dict()

# Calculate the task vector (tuned weights minus base weights)
task_vector = {k: tuned_weights[k] - base_weights[k] for k in base_weights.keys()}

# Apply the task vector to the base model using a 0.5 scaling factor
for k in base_weights.keys():
    base_weights[k] += 0.5 * task_vector[k]

ウェイト操作の未来

大規模言語モデルや巨大なビジョントランスフォーマーのようなアーキテクチャのパラメータ数が増大するにつれ、わずかな調整のたびに再学習を行うことは経済的に不可能になりつつあります。タスクベクターは、学習後のモデル最適化に対する数学的にエレガントな代替手段を提供します。数ギガバイトにも及ぶモデル全体ではなく、軽量なタスクベクターを共有することで、AIコミュニティはAIにおけるオープンソースコラボレーションを加速させることができます。カスタムタスクベクターが洗練されたら、Ultralytics Platformを活用することで、その後のモデルデプロイと監視プロセスが簡素化され、最適化されたウェイトを直接本番環境対応のエンドポイントに反映させることができます。