パラメータ効率的なファインチューニング（PEFT）

PEFT（Parameter-Efficient Fine-Tuning）は、機械学習（ML）における洗練された戦略である。 機械学習（ML）における高度な戦略である、 (PEFT)は、機械学習(ML)における洗練された戦略であり、ネットワーク全体を再トレーニングする計算負荷なしに、事前にトレーニングされたモデルを特定の下流タスクに適応させるために設計されています。PEFTは 自然言語処理や 自然言語処理やコンピュータビジョン（CV）のような領域における基礎モデルは、数十億のパラメータに拡張されてきた。 数十億のパラメータを持つようになった。 モデル内のすべての重みを更新する従来の微調整は、多くのユーザーにとって法外なコストがかかるようになりました。 多くのユーザーにとって法外なコストがかかるようになりました。PEFTは、事前に訓練されたモデルの重みの大部分を凍結し、モデルの重みの更新のみを行うことで、この問題に対処する。 モデルの重みの大部分を凍結し、更新するのはパラメータの小さなサブセットだけである。 パラメータを更新するか、新しい学習可能なレイヤーをいくつか追加するだけである。このアプローチはハードウェアの障壁を大幅に下げ、研究者やエンジニアが最先端のモデルをカスタマイズすることを可能にする。 研究者やエンジニアは、コンシューマーグレードのGPUを使用して最先端のモデルをカスタマイズすることができる。 GPUを使用して最先端のモデルをカスタマイズすることができます。 を維持しながら、最先端のモデルをカスタマイズすることができます。

PEFTのメカニズム

PEFTの核となるコンセプトは 転移学習である。 膨大なデータセット（ImageNet Common Crawlなど）から得た知識を活用して、限られたデータで新たな問題を解決する。 完全なファインチューニングとは異なり、PEFTはモデル・アーキテクチャや学習プロセスを "パラメータ効率 効率的 "となるようにモデル・アーキテクチャや学習プロセスを変更する。これにより、適応されたモデルのフットプリントは小さくなり、多くの場合、フルモデルに必要なギガバイトに比べ、わずか数メガバイトになります。 ギガバイトである。この効率性は 壊滅的忘却（モデルが元の一般的な能力を失っていく現象）を防ぐために、この効率は極めて重要である。 この現象は、モデルが新しい情報を学習する間に、元の一般的な能力を失ってしまう現象である。

PEFTの傘下にある一般的なテクニックには、以下のようなものがある：

• LoRA（低ランク適応）： この一般的な方法は、学習可能な小さなランク分解行列をモデルの層に注入し、元の重みを凍結する。 元の重みを凍結する。 Microsoft社の研究において、その速度と精度のバランスから広く引用されている。 その速度と精度のバランスから、マイクロソフト社の研究でも広く引用されている。
• アダプター：これは ニューラルネットワーク・モジュールを を挿入する。
• プロンプト・チューニング：主に 言語モデルで主に使われる。 入力シーケンスに学習可能な「ソフトプロンプト」を埋め込む。 モデルの動作を導く。

実際のアプリケーション

PEFTは、様々な業界において強力なAIツールへのアクセスを民主化することに貢献している。

• 精密農業：農家やアグリテック企業は、PEFTを使用して、以下のような一般的な物体検出モデルを適応させる。 のような一般的な物体検出モデルを YOLO11のような一般的な物体検出モデルを適応させて、特定の作物の病気や地域の害虫を特定する。 農業にAIを利用することで、一般的な物体で訓練されたモデルを 葉の画像からなる小規模なカスタム・データセットで微調整することができる。 葉の画像から局所的な病害虫を高精度でdetect し、現場のエッジ・デバイスで効率的に実行することができる。
• 医療診断医療AI ヘルスケアAIでは、プライバシーとデータ不足が 大きな課題です。病院はPEFTを使用して、医療画像解析用のビジョンモデルを適応させることができる。 医療画像分析に適応させることができる。 X線写真の骨折の検出など。ベースモデルは凍結されたままなので、トレーニングが収束するまでに必要な患者画像は少なくて済みます、 オーバーフィッティングのリスクを低減し、モデルの一般的な視覚認識能力を維持することができます。 モデルの一般的な視覚的特徴を認識する能力を維持します。

実践的な実施

Ultralytics 文脈では、パラメーターの効率性は、多くの場合、学習中にネットワークのバックボーン層を「凍結」することで達成される。 これにより、特徴抽出層は変化せず、特徴抽出層のみが変化する。これにより、特徴抽出層は変更されず、ヘッド（最終的な予測を担当する部分）だけが更新されます。 ヘッド（最終的な予測を行うモデルの部分）のみが更新される。

次の例では、Ultralytics 使用したパラメータ効率の高いトレーニングの簡単な実装方法を示します。 YOLO 使用して、モデルの最初の10層を凍結することで実装する方法を示します。

from ultralytics import YOLO

# Load the YOLO11 model (latest stable version)
model = YOLO("yolo11n.pt")

# Train the model on a specific dataset
# The 'freeze=10' argument freezes the first 10 layers (the backbone)
# This reduces the number of trainable parameters significantly
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

PEFTと関連概念

PEFTと類似の用語の違いを理解することは、正しい戦略を選択するために不可欠である：

• フル微調整：ネットワークの全パラメータを更新します。最大限の を提供するが、新しいモデルのバージョンごとに膨大な計算リソースとストレージを必要とする。この リソースの制約がない場合のベストプラクティスについては、ファインチューニングに関するこのガイドを参照してください。 を参照してください。
• プロンプトエンジニアリング：これは これは、重みを変えることなく、モデルを導くためにテキスト入力（プロンプト）を作成することである。対照的にPEFTは は、モデルがデータを処理する方法を変更するために、パラメータまたは重みの小さなセットを恒久的に更新する。
• トランスファー・ラーニング：これは 知識を再利用するという広い概念である。PEFTはトランスファー学習を具体的かつ効率的に実践したものである。 これらの概念のより深い定義については、以下のようなプラットフォームで調べることができる。 IBMのAI教育ページ

適応の計算コストを最小化することで、PEFTは、自律走行車の知覚に至るまでのタスクに高度に特化したモデルの作成を可能にする。 自律走行車の知覚から 衛星画像の解析 衛星画像の分析に至るまで、高度に特化したモデルを作成することができる、 高度なAIをより多くの開発者が利用できるようになる。