Parameter-Efficient Fine-Tuning (PEFT)

パラメーター効率の良いファインチューニング（PEFT）は、ネットワークに追加した少数の新しいパラメーター、または既存パラメーターから選んだ一部だけを学習して、事前学習済みモデルを新しいタスクに適応させます。それ以外のモデル重みは固定されたままです。通常のファインチューニングではすべての重みを更新します。7億ではなく70億パラメーターの大規模言語モデル（LLM）の場合、70億個すべての値について勾配とオプティマイザー状態を保持し、タスクごとにモデル全体のコピーを保存する必要があります。PEFT手法では多くの場合、パラメーターの1%未満しか学習しないため、基盤モデルを単一のGPUで適応させられます。また、新しいタスクごとに完全なチェックポイントではなく、学習済みパラメーターの小さなファイルを追加できます。Hugging FaceのPEFTライブラリは、トランスフォーマーモデル向けの一般的な手法を実装しています。

PEFTの仕組み#

PEFTは転移学習を基盤としています。幅広いデータで事前学習されたモデルには汎用的な特徴がすでに組み込まれているため、関連タスクへの適応に必要な変更は、事前学習で行った変更よりはるかに少なくなります。学習するパラメーターに応じて、手法は3つの系統に分かれます。

加算型手法では、固定されたネットワークに新しい学習可能モジュールまたは入力を挿入します。アダプターは各トランスフォーマーブロック内に小さなボトルネックレイヤーを追加します。GLUE言語ベンチマークでは、タスクごとにパラメーターを3.6%追加するだけで、通常のファインチューニングとの差を0.4%以内に抑えました。プロンプトチューニングとプレフィックスチューニングでは、入力または各レイヤーの活性化の前に配置する少数の連続ベクトルを学習します。

選択型手法では、既存の重みから選んだ一部を学習します。バックボーンを固定して後段のレイヤーだけを学習する方法が最も単純な形式であり、BitFitではバイアス項のみを学習します。

再パラメーター化手法では、固定された重み行列に対するコンパクトな更新を学習します。LoRAは各更新を2つの低ランク行列の積として表現します。GPT-3 175Bを通常どおりファインチューニングする場合と比べて、学習可能なパラメーターを10,000分の1に、GPUメモリを3分の1に削減しました。QLoRAは4ビットの量子化済みベースモデル上でLoRAアダプターを学習し、DoRAは各重みを大きさと方向に分け、LoRAで方向を適応させます。

タスク間で異なるのは学習した少数のパラメーターだけなので、ベースモデルのコピー1つで多数のタスクを同時に処理できます。サーバーは固定されたベースモデルをメモリに保持し、各リクエストに対応するアダプターを適用します。S-LoRAなどのシステムは、この方法で数千個のLoRAアダプターを提供します。

利点とトレードオフ#

勾配とオプティマイザー状態が必要なのは学習対象のパラメーターだけなので、メモリ使用量は大幅に減ります。ただし、固定された重みと活性化は引き続きGPUに収まる必要があります。事前学習済みの重みを固定することで、小規模データセットでの過学習や、モデル本来の能力の破滅的忘却も抑えられます。一方で、適応能力には限界があります。LoRA Learns Less and Forgets Lessという研究では、LoRAはプログラミングと数学のタスクで通常のファインチューニングに及ばなかったものの、それらの領域以外のタスクではベースモデルの性能をより多く維持しました。

コンピュータービジョンにおけるPEFT#

ビジョントランスフォーマーにも同じ手法を適用できます。Visual Prompt Tuningは、固定されたViTに対する追加の入力トークンを学習します。学習するパラメーターを1%未満に抑えながら、多くのテストで通常のファインチューニングを上回りました。また、LoRAアダプターを使うと、Stable Diffusionを新しいスタイルや題材に合わせて調整できます。畳み込み型の物体検出モデルでは、凍結が標準的な選択型アプローチです。Ultralytics YOLO26の学習では、freeze引数によって最初のNレイヤーの勾配更新を停止し、バッチ正規化の統計量も固定します。freeze=11はレイヤー0から10まで、つまりYOLO26のバックボーン全体を指定するため、ネックと検出ヘッドのみが学習されます。

from ultralytics import YOLO

# COCOで事前学習したYOLO26nの重みを読み込みます
model = YOLO("yolo26n.pt")

# レイヤー0～10（バックボーン）を凍結し、ネックと検出ヘッドのみを学習します
results = model.train(data="coco8.yaml", epochs=5, freeze=11)

学習ログでは、最初のエポックが始まる前に、各凍結パラメーターがFreezing layer行に表示されます。

PEFTと関連用語#

• 通常のファインチューニング： すべての重みを更新するため、適応能力は最大になりますが、最も多くのメモリとタスクごとのモデル全体のコピーが必要です。PEFTは、変更するパラメーターを制限するファインチューニングの一種です。
• 線形プロービング： 固定された特徴に対して線形分類器のみを学習する、最も制約の強い選択型手法です。事前学習済み表現がすでにどの程度の情報を捉えているかを測定するために主に使用されます。
• プロンプトエンジニアリング： 入力に手書きのテキストを加えてモデルの動作を変え、学習は行いません。プロンプトチューニングでは、勾配降下法で連続的なプロンプトベクトルを学習します。
• 知識蒸留： 小さな生徒モデルを大きな教師モデルの模倣として学習させ、モデルを圧縮します。一方、PEFTは既存モデルを新しいタスクに適応させます。
• モデルマージ： 学習済みの重みやアダプターを1つのモデルに統合します。学習済みLoRAの更新は、適応先の固定された重み行列に加算できるため、マージ済みモデルは推論コストを増やさずに実行できます。