プロンプトエンジニアリング

プロンプトエンジニアリングは、プロンプトと呼ばれる入力テキストを構造化し、最適化する戦略的プロセスである。 ガイドする 人工知能（AI）モデル を効果的に誘導する戦略的プロセスである。当初は のような大規模言語モデル(LLM)の台頭によって広まった。 GPT-4のような大規模言語モデル(LLM)の台頭によって広まったが、この学問は様々な生成システムと 様々な生成システムと相互作用するために重要なスキルへと発展している。これは、モデルがどのように言語を解釈するかのニュアンスを理解することを含む、 人間の意図と機械の実行のギャップを埋めるために、モデルが言語、文脈、命令をどのように解釈するかのニュアンスを理解することである。言葉を注意深く選択することで 制約をフォーマットし、コンテキストを提供することで、ユーザーは生成AIの応答の精度と関連性を大幅に向上させることができる。 生成AIの応答の精度と関連性を大幅に向上させることができる。 モデルの基本パラメータを変更する必要はありません。

効果的なプロンプトのメカニズム

プロンプト・エンジニアリングの核心は、AIモデルは入力の言い回しや構造に敏感であるという原則にある。 に敏感であるという原則に基づく。うまく設計されたプロンプトには、通常、あいまいさを減らすための特定のコンポーネントが含まれている。これには以下が含まれる。 明示的な指示、関連する背景情報（コンテキスト）、およびフォーマットなどの出力仕様が含まれる。 例えば、JSONや箇条書きのリストでの応答を要求する。 高度なテクニックには、数発学習がある、 この場合、ユーザはプロンプト内で希望する入出力ペアの例を提供し、モデルの推論をガイドする。 もう一つの強力な方法は 思考連鎖プロンプト これは、複雑な問題を中間的な推論ステップに分解するようモデルに促すもので、次のようなロジックを多用するタスクのパフォーマンスを向上させる。 に詳述されているように、ロジックを多用するタスクのパフォーマンスを向上させる。 Google 研究 の出版物に詳しい。

コンピュータビジョンにおける関連性

プロンプトエンジニアリングは、テキスト生成に関連することが多いが、以下の分野でもますます重要になってきている。 コンピュータ・ビジョン（CV）。最新の マルチモーダルモデルやオープンボキャブラリーディテクタ YOLOようなオープン・ボキャブラリ検出器では、あらかじめ定義されたクラスIDではなく、自然言語を使って検出対象を定義することができる。 を定義することができる。この文脈では、"プロンプト "はオブジェクトのテキスト の説明である（例えば、「赤いヘルメット」対「ヘルメット」）。この機能は、しばしば ゼロショット学習と呼ばれるこの機能は、モデルが明示的に学習していない物体 この機能は、しばしばゼロショット学習と呼ばれ、単にテキストプロンプトと視覚的特徴の間の意味的関係を処理することによって、モデルが明示的に訓練されていない物体を検出することを可能にする。 と視覚的特徴の間の意味的関係を処理するだけで、明示的に訓練されていない物体を検出することができます。

以下の例では、プロンプトエンジニアリングがどのようにプログラム的に適用されるかを示している。 ultralytics パッケージのクラスを動的に定義します。 オブジェクト検出:

from ultralytics import YOLO

# Load a YOLO-World model capable of interpreting text prompts
model = YOLO("yolo-world.pt")

# Use prompt engineering to define custom classes without retraining
# The model aligns these text descriptions with visual features
model.set_classes(["person in safety vest", "forklift", "cardboard box"])

# Run inference on an image to detect the prompted objects
results = model.predict("warehouse.jpg")

実際のアプリケーション

プロンプト・エンジニアリングの有用性は多様な業界にまたがり、自動化と創造性を高めている：

• 自動コンテンツ生成：マーケティングやメディアでは、専門家が詳細なプロンプトを使用して、以下のようなテキストから画像へのジェネレーターをガイドします。 テキストから画像へ変換する ミッドジャーニー 安定した拡散。具体的なプロンプト ライティング、アーティスティックなスタイル、構図を記述する具体的なプロンプトによって、デザイナーはビジュアルアセットを迅速にプロトタイプ化することができ、従来のレンダリング手法に比べて時間を節約することができます。 従来のレンダリング手法に比べて時間を節約できます。
• インテリジェントなカスタマーサポート：企業は LLMを搭載したチャットボットを導入し、顧客からの問い合わせに対応する。 エンジニアは、ボットのペルソナを定義する「システム・プロンプト」を作成し（例えば、「あなたは親切な技術サポート・アシスタントです。 を定義し、幻覚を防ぐための境界線を設定し、特定の知識ベースから回答を取得するようAIに指示します。 特定の知識ベースから答えを取得するようAIに指示する。

関連概念の区別

プロンプト・エンジニアリングは、機械学習における類似の用語と区別することが重要である：

• プロンプトエンジニアリングとプロンプトチューニングの比較： プロンプトエンジニアリングでは、自然言語クエリを手作業で作成する。対照的に、プロンプトチューニングは パラメータを効率的に学習するメカニズムである。 エンベッディング（数値ベクトル）を学習し、モデル入力を最適化する。 を学習してモデル入力を最適化する、パラメータ効率の高いメカニズムである。
• プロンプト・エンジニアリングとファインチューニングの比較： ファインチューニング ファインチューニング：ファインチューニングは、特殊なデータセットでトレーニングを行うことで、モデルの重みを恒久的に更新する。 プロンプトエンジニアリングはモデル自体を変更するのではなく、リアルタイム推論中に入力を最適化するだけである。 を最適化するだけである。
• プロンプトエンジニアリング vs. RAG RAG： RAG（Retrieval-Augmented Generation）とは、外部データをフェッチして、モデルの応答の根拠とするシステムアーキテクチャである。 応答する。プロンプトエンジニアリングは、RAG内で使用される技法であり、取得したデータを正しくフォーマットし、LLMに提示して処理する。 処理のためにLLMに提示する。