パラメータ効率微調整（PEFT）

PEFT（Parameter-Efficient Fine-Tuning）とは、機械学習において、モデル全体を再学習することなく、事前に訓練された大規模なモデルを新しい特定のタスクに適応させるために使用される一連のテクニックである。自然言語処理（NLP）やコンピュータビジョン（CV）のような分野の基礎モデルが数十億のパラメータに成長するにつれて、完全なファインチューニングは計算コストが高くなり、新しいタスクごとに大量のデータストレージが必要になる。PEFTは、事前に訓練されたモデルの重みの大部分を凍結し、少数の追加または既存のパラメータのみを訓練することで、この問題に対処する。このアプローチにより、計算コストとストレージ・コストが大幅に削減され、壊滅的な忘却（モデルが元の能力を忘れてしまうこと）のリスクが低くなり、1つの大きなモデルを多くの異なるアプリケーション用にカスタマイズすることが実現可能になります。

PEFTはどのように機能するのか？

PEFTの基本原理は、事前に訓練されたモデルに的を絞った最小限の変更を加えることである。すべてのパラメータを更新するのではなく、PEFTの手法は訓練可能なパラメータの小さなセットを導入するか、既存のパラメータの小さなサブセットを選択して訓練中に更新する。これは効率を最適化する転移学習の一形態である。一般的なPEFT手法はいくつかあり、それぞれ異なる戦略を持っている：

• LoRA（低ランク適応）：このテクニックは、事前訓練されたモデルの層（多くの場合、注意メカニズム内）に、訓練可能な小さな低ランク行列を注入する。この "アダプター "行列は、元の重み行列よりもかなり小さいため、学習を高速かつ効率的に行うことができる。オリジナルのLoRA研究論文には、より詳細な技術的情報が記載されている。
• プロンプトチューニング：この方法では、モデルのアーキテクチャを変更する代わりに、モデルを完全に凍結したまま、「ソフトプロンプト」または学習可能な埋め込みベクトルのセットを学習する。これらのベクトルを入力シーケンスに追加することで、特定のタスクに対するモデルの出力を導く。
• アダプター・チューニング：この方法では、事前に訓練されたモデルの層の間に、「アダプター」と呼ばれる、小さな完全接続のニューラルネットワーク・モジュールを挿入する。これらの新しいアダプターのパラメーターだけが訓練される。

これらのメソッドやその他のメソッドは、Hugging Face PEFTライブラリのようなフレームワークを通じて広く利用可能であり、実装を簡素化することができる。

PEFTと関連概念

PEFTを他のモデル適応戦略と区別することは重要である：

• 完全な微調整：PEFTとは対照的に、フルファインチューニングは事前に訓練されたモデルのすべての重みを更新する。これはリソース集約的であり、各ファインチューニング・モデル・バージョンに対して強力なGPUと大容量のストレージを必要とする。
• プロンプトエンジニアリング：この手法では、モデルの動作をガイドする効果的なテキストベースのプロンプトを手動で設計します。これはトレーニングやパラメータの更新を伴わず、凍結されたモデルから望ましい出力を得るために、純粋に入力を作成することです。
• 知識の蒸留：これは、より大きな、事前に訓練された「教師」モデルの動作を模倣するために、より小さな「生徒」モデルを訓練することを含む。より小さなモデルが作成されるとはいえ、このプロセス自体、計算集約的であることに変わりはない。

実世界での応用

PEFTは、様々な領域にわたる大規模モデルの実用的な適用を可能にする：

• 自然言語処理（NLP）：企業はPEFTを使用して、GPT-4や BERTのような汎用モデルを適応させ、社内のナレッジベース用に特化したチャットボットを作成することができます。コストのかかる完全な再トレーニングの代わりに、LoRAのような方法を使用して、モデルに企業固有の用語や手順を教えることができ、その結果、顧客サービスや内部サポートのより正確な応答が得られます。スタンフォードNLPグループのような研究グループは、このようなタイプのアプリケーションを研究している。
• コンピュータビジョン（CV）：PEFTは、Vision Transformers（ViT）やUltralytics YOLOモデルのような大規模なビジョンモデルを、特定の視覚認識タスク用にカスタマイズすることができます。例えば、広範なCOCOデータセットで事前に訓練されたモデルを、PEFTを使用して、製造品質管理における固有の欠陥の正確なオブジェクト検出、医療画像解析のための特殊な画像セグメンテーションの実行、または野生動物保護カメラトラップにおける特定の動物種の識別に適合させることができます。Ultralytics HUBのようなプラットフォームは、これらの適合モデルや実験の管理に役立ちます。

要するに、Parameter-Efficient Fine-Tuningは、最先端のAIモデルをより汎用的かつコスト効率よく適応させ、幅広い特定用途向けの強力なAI機能へのアクセスを民主化する。