プロンプトチューニング

プロンプトチューニングは、大規模言語モデル（LLM）のような大規模な事前学習済みモデルを、元のモデルの重みを変更せずに新しいタスクに適応させるための、強力かつ効率的な手法です。これは、Parameter-Efficient Fine-Tuning（PEFT）の一形態であり、基本モデル内の数十億のパラメータを固定したまま、タスク固有の「ソフトプロンプト」の小さなセットを学習します。これらのソフトプロンプトは、人間が読めるテキストではなく、学習可能な埋め込みであり、入力に付加され、特定のダウンストリームタスクに対して、固定されたモデルが望ましい出力を生成するように誘導します。このアプローチは、元のGoogle AIの研究論文に記載されているように、タスク固有の適応に必要な計算コストとストレージを劇的に削減します。

基本的な考え方は、数十億のパラメータを持つモデル全体を再トレーニングまたはファインチューニングするのではなく、タスクごとに数千または数百万の追加パラメータ（ソフトプロンプト）のみをトレーニングすることです。これにより、完全なモデルコピーを作成せずに、単一の事前トレーニング済みモデルに対して、異なるタスクに合わせて調整された、多くの特殊な「プロンプトモジュール」を作成することが可能になります。この方法は、新しいタスクでトレーニングされたときにモデルが以前に学習した情報を忘れてしまう壊滅的忘却を軽減するのにも役立ちます。

実際のアプリケーション

プロンプトチューニングは、広範な専門アプリケーション向けに、強力な基盤モデルのカスタマイズを可能にします。

• カスタマイズされたセンチメント分析: 企業は、特定の製品に関する顧客のフィードバックを分析したいと考えています。汎用センチメント分析モデルは、業界固有の専門用語を理解できない場合があります。プロンプトチューニングを使用すると、企業は独自のラベル付き顧客レビューで小さなソフトプロンプトのセットをトレーニングすることにより、BERTのような大規模モデルを適応させることができます。結果として得られるモデルは、完全なモデルトレーニングを必要とせずにフィードバックを正確に分類し、より微妙な洞察を提供できます。
• 特殊な医療チャットボット: ある医療機関が、特定の病状に関する患者の質問に答えるチャットボットを構築しようとしています。大規模な医療LLMを完全にトレーニングするには、多くのリソースが必要です。代わりに、GPT-4のような事前トレーニングされたモデルでプロンプトチューニングを使用できます。キュレーションされた医療データセットでタスク固有のプロンプトをトレーニングすることにより、チャットボットはそのドメインに対して正確でコンテキストを認識した回答を提供することを学習し、強力なヘルスケアにおけるAIをよりアクセスしやすくします。

プロンプトチューニングと関連概念

プロンプトチューニングと類似の手法を区別することが重要です。

• ファインチューニング: この手法は、事前トレーニングされたモデルのパラメータの大部分、またはすべてを新しいデータセットで更新します。計算負荷は高くなりますが、モデルの内部表現を深く適応させることで、より高いパフォーマンスを達成できる場合があります。モデルのトレーニングのヒントでは、ファインチューニングの側面がよく取り上げられています。
• プロンプトエンジニアリング: これは、フリーズされた事前トレーニング済みモデルを誘導するために、効果的なテキストベースのプロンプト（ハードプロンプト）を手動で設計することに焦点を当てています。これには、入力テキスト自体の中に指示と例を作成することが含まれ、新しいパラメータのトレーニングは含まれません。chain-of-thoughtプロンプティングなどの手法は、このカテゴリに分類されます。
• プロンプトエンリッチメント: この手法は、Retrieval-Augmented Generation (RAG)などを使用して、AIモデルに送信する前に、コンテキストを追加することにより、ユーザーのプロンプトを自動的に強化します。プロンプトチューニングとは異なり、新しいパラメータをトレーニングせずに、入力クエリを洗練します。
• LoRA（Low-Rank Adaptation）: 事前トレーニング済みモデルの既存のレイヤー（注意機構など）に、トレーニング可能な小さな低ランク行列を挿入する別のPEFT手法。入力埋め込みのみに焦点を当てるプロンプトチューニングと比較して、モデルの異なる部分を更新します。どちらも、Hugging Face PEFTライブラリなどのライブラリによく見られます。

プロンプトチューニングは、主に自然言語処理（NLP）のLLMに適用されますが、効率的な適応の基本原則は、人工知能（AI）全体に関連しています。コンピュータビジョン（CV）では、カスタムデータセットでのUltralytics YOLOのようなモデルの完全なファインチューニングが物体検出のようなタスクで一般的ですが、PEFTメソッドは、特に大規模なマルチモーダルモデルで勢いを増しています。Ultralytics HUBのようなプラットフォームは、さまざまなAIモデルのトレーニングとデプロイメントのプロセスを効率化し、将来的にそのような効率的なテクニックを組み込む可能性があります。