Prompt Tuning

プロンプトチューニングは、ネットワーク全体を再トレーニングする計算コストをかけずに、事前学習済みの基盤モデルを特定の下流タスクに適応させる、リソース効率の高い手法です。従来のファインチューニングではモデルのパラメータのすべて、または大部分を更新しますが、プロンプトチューニングでは事前学習済みのモデル重みを固定し、入力データの先頭に付加する「ソフトプロンプト」と呼ばれる少数の学習可能なベクトルのみを最適化します。このアプローチにより、単一の大規模なバックボーンで複数の専門的なアプリケーションを同時に運用でき、ストレージ要件と推論レイテンシの切り替えコストを大幅に削減できます。

プロンプトチューニングの仕組み#

標準的な機械学習 (ML)ワークフローでは、テキストや画像などの入力を、埋め込みと呼ばれる数値表現に変換します。プロンプトチューニングでは、追加の学習可能な埋め込みベクトルを入力シーケンスに挿入します。学習フェーズでは、システムが誤差逆伝播を使用して勾配を計算しますが、最適化アルゴリズムが更新するのはソフトプロンプトの値だけであり、大規模なモデル構造はそのまま維持されます。

この手法は、パラメータ効率の高いファインチューニング (PEFT)の一種です。これらの連続ベクトルを学習することで、モデルを望ましい出力へ「誘導」します。この概念は自然言語処理 (NLP)から発展しましたが、コンピュータビジョン (CV)タスクにも適応されており、Visual Prompt Tuning (VPT)と呼ばれることがよくあります。

関連する概念との違い#

プロンプトチューニングの有用性を理解するには、AI分野における類似用語との違いを明確にすることが重要です。

• プロンプトエンジニアリング: これは、人間が読めるテキスト指示（ハードプロンプト）を手作業で作成し、生成AIモデルを誘導する手法です。コーディングや学習は必要ありません。一方、プロンプトチューニングでは、自動化された教師あり学習を使用して、自然言語の単語に対応しない場合もある最適な数値埋め込みを見つけます。
• フルファインチューニング: 従来の手法ではニューラルネットワーク全体を更新するため、元の学習内容を「壊滅的忘却」することがよくあります。プロンプトチューニングではモデル本来の能力が維持されるため、互いに関連しないタスク間でも転移学習を活用しやすくなります。
• 少数ショット学習: 通常、LLMのコンテキストウィンドウに少数の例を提示することを指します。プロンプトチューニングとは異なり、少数ショット学習では一時的なコンテキストを提供するだけですが、プロンプトチューニングではパラメータを永続的に学習し、保存して再利用します。

実世界での利用例#

プロンプトチューニングにより、リソースに制約のある環境でもAIをスケーラブルにデプロイできます。これは、モデル管理を担うUltralytics Platformにも共通する中核的な理念です。

1. 多言語カスタマーサポート: グローバル企業は、中央で管理する1つの固定された言語モデルを使用できます。スペイン語、日本語、ドイツ語用の軽量なソフトプロンプトを学習することで、システムは言語を即座に切り替えられます。これにより、数ギガバイト規模のモデルを3つ別々にホスティングする莫大なコストを回避し、代わりにキロバイト規模のプロンプトファイルを利用できます。

2. 医療におけるAI: 医用画像ではデータ不足が問題になることがよくあります。研究者は汎用のビジョンバックボーン（Vision Transformerなど）を利用し、プロンプトチューニングによって網膜疾患や腫瘍など、特定の異常を検出できるよう適応させられます。これにより患者データのプライバシーを維持しながら、モデル全体を再トレーニングすることなく、新しい医療機器へ迅速に適応できます。

実装例#

次のPyTorchの例では、モデルの主要レイヤーを固定し、出力に影響を与えるよう最適化する、独立した学習可能なパラメータ（「ソフトプロンプト」）を作成するという中核的な仕組みを示します。

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

現代のエッジAIとの関連性#

モデルが大規模化するにつれて、低コストで適応させる能力が重要になります。YOLO26のようなアーキテクチャはすでに効率性を高めるために高度に最適化されていますが、バックボーンを固定して効率的に適応させる原則は、エッジAIの将来における基盤となります。プロンプトチューニングに類似した手法により、メモリが限られたデバイスでも、大規模なニューラルネットワークを再ロードする代わりに小さな設定ファイルを交換するだけで、物体検出からセグメンテーションまで多様なタスクを実行できます。

効率的な学習とデプロイを目指す開発者は、Ultralytics Platformなどのツールを活用することで、最新のMLOpsのベストプラクティスを取り入れながら、モデルを対象ハードウェアに合わせて最適化できます。