YOLO Vision 2025にご期待ください!
2025年9月25日
10:00 — 18:00(英国夏時間)
ハイブリッドイベント
Yolo Vision 2024
用語集

パラメータ効率的なファインチューニング(PEFT)

最小限のリソースで大規模なAIモデルを適応させるためのParameter-Efficient Fine-Tuning(PEFT)をご覧ください。コストを節約し、過学習を防ぎ、デプロイメントを最適化します。

Parameter-Efficient Fine-Tuning(PEFT)は、機械学習で使用される一連の技術であり、大規模な事前トレーニング済みモデルを、モデル全体を再トレーニングする必要なく、新しい特定のタスクに適応させるために使用されます。基盤モデル自然言語処理(NLP)コンピュータビジョン(CV)などの分野で数十億のパラメータに成長するにつれて、完全なファインチューニングは計算コストが高くなり、新しいタスクごとに大量のデータストレージが必要になります。PEFTは、事前トレーニング済みモデルの重みの大部分を凍結し、追加または既存のパラメータの少数をトレーニングするだけで、これに対処します。このアプローチにより、計算コストとストレージコストが大幅に削減され、破滅的忘却(モデルが元の機能を忘れてしまう)のリスクが軽減され、単一の大きなモデルを多くの異なるアプリケーションに合わせてカスタマイズすることが可能になります。

PEFTはどのように機能しますか?

PEFTの背後にある中核的な原則は、事前トレーニング済みモデルに対して、的を絞った最小限の変更を加えることです。すべてのパラメータを更新する代わりに、PEFTメソッドは、トレーニング中に更新するトレーニング可能なパラメータの小さなセットを導入するか、既存のパラメータの小さなサブセットを選択します。これは、効率を最適化する転移学習の一形態です。いくつかの一般的なPEFTメソッドがあり、それぞれ異なる戦略があります。

  • LoRA (Low-Rank Adaptation): この手法では、多くの場合注意機構内で、トレーニング可能な小さな低ランク行列を事前トレーニング済みモデルのレイヤーに挿入します。これらの「アダプター」行列は、元の重み行列よりも大幅に小さいため、トレーニングが高速かつ効率的になります。元のLoRAの研究論文には、より技術的な詳細が記載されています。
  • プロンプトチューニング: モデルのアーキテクチャを変更する代わりに、この手法ではモデルを完全に固定し、「ソフトプロンプト」または学習可能な埋め込みベクトルのセットを学習します。これらのベクトルは、基礎となる論文で詳述されているように、特定のタスクのためにモデルの出力を誘導するために、入力シーケンスに追加されます。
  • アダプターチューニング: この手法では、事前トレーニングされたモデルのレイヤー間に、「アダプター」と呼ばれる小型の完全接続ニューラルネットワークモジュールを挿入します。これらの新しいアダプターのパラメータのみがトレーニングされます。

これらの手法やその他の手法は、実装を簡素化するHugging Face PEFTライブラリのようなフレームワークを通じて広く利用できます。

PEFTと関連概念

PEFTを他のモデル適応戦略と区別することが重要です。

  • フルファインチューニング: PEFTとは対照的に、フルファインチューニングは、事前トレーニング済みモデルのすべての重みを更新します。これはリソースを大量に消費し、強力なGPUと、ファインチューニングされたモデルバージョンごとに大きなストレージが必要です。
  • Prompt Engineering(プロンプトエンジニアリング): この手法は、モデルの動作を誘導するために、効果的なテキストベースのプロンプトを手動で設計します。トレーニングやパラメータの更新は一切行いません。これは、フリーズされたモデルから目的の出力を得るために入力を調整することのみを目的としています。
  • Knowledge Distillation(知識蒸留): これは、大規模な事前学習済み「教師」モデルの挙動を模倣するように、より小規模な「生徒」モデルを訓練する手法です。より小さなモデルを作成できますが、プロセス自体は計算集約型になる可能性があります。

実際のアプリケーション

PEFTは、さまざまなドメインにわたる大規模モデルの実用的なアプリケーションを可能にします。

  • 自然言語処理(NLP): 企業はPEFTを使用して、GPT-4BERTなどの汎用モデルを適合させ、社内知識ベース用の特殊なチャットボットを作成できます。コストのかかる完全な再トレーニングの代わりに、LoRAのような手法を使用して、モデルに企業固有の用語や手順を教え、顧客サービスや社内サポートのためにより正確な応答を得ることができます。スタンフォードNLPグループのような研究グループは、これらのタイプのアプリケーションを研究しています。
  • コンピュータビジョン(CV): PEFTは、Vision Transformers(ViT)Ultralytics YOLOモデルのような大規模なビジョンモデルを、特定の視覚認識タスクに合わせてカスタマイズできます。例えば、広範なCOCOデータセットで事前学習されたモデルを、PEFTを使用して、製造品質管理における固有の欠陥の正確な物体検出医療画像解析のための専門的な画像セグメンテーション、または野生生物保護のカメラトラップにおける特定の動物種の識別に適応させることができます。Ultralytics HUBのようなプラットフォームは、これらの適応されたモデルと実験の管理に役立ちます。

本質的に、パラメータ効率の良いファイン・チューニングは、最先端のAIモデルをより汎用性が高く、費用対効果の高い適応を可能にし、幅広い特定のアプリケーションに対して強力なAI機能へのアクセスを民主化します。

Ultralyticsコミュニティに参加しませんか?

AIの未来を共に切り開きましょう。グローバルなイノベーターと繋がり、協力し、成長を。

今すぐ参加
クリップボードにコピーしました