Prompt Engineering
AIとコンピュータビジョンのためのプロンプトエンジニアリングを習得します。LLMやUltralytics YOLO26のようなマルチモーダルモデルに対して入力を最適化し、優れた結果を達成する方法を学びましょう。
プロンプトエンジニアリングは、Artificial Intelligence (AI)モデルが正確で関連性の高い、高品質な出力を生成できるように、入力テキストの設計、洗練、最適化を行う戦略的なプロセスです。GPT-4のようなLarge Language Models (LLMs)の台頭とともに最初に注目を集めたこの分野は、テキスト、画像、動画などのさまざまなモダリティにわたってgenerative AIシステムと対話するための重要なスキルへと進化しました。再学習を通じて基礎となるmodel weightsを変更するのではなく、プロンプトエンジニアリングはシステムが最も理解しやすい方法でタスクを構成し、人間の意図と機械の実行の間のギャップを埋めることで、モデルの既存の知識を活用します。
効果的なプロンプティングのメカニズム#
その核心において、プロンプトエンジニアリングはfoundation modelsがコンテキストと指示をどのように処理するかを理解することに依存しています。よく構築されたプロンプトは、明示的な制約、望ましい出力形式（JSONやMarkdownなど）、および関連する背景情報を提供することにより、曖昧さを軽減します。高度な実践者は、few-shot learningのような手法を活用します。この手法では、ユーザーがプロンプト内にいくつかの入出力ペアの例を提供して、望ましいパターンを示します。
もう一つの強力な戦略はchain-of-thought promptingであり、これはモデルに複雑な推論タスクを中間ステップに分解するように促します。これにより、論理重視のクエリにおけるパフォーマンスが大幅に向上します。さらに、モデルが一度に処理できるテキストの量の制限であるcontext windowの使用を最適化することは、長時間の対話において一貫性を維持するために不可欠です。OpenAI's guide on prompt designなどの外部リソースは、エッジケース効果的に処理するための反復的な洗練の重要性を強調しています。
コンピュータビジョンにおける関連性#
テキストに関連付けられることが多い一方で、プロンプトエンジニアリングはComputer Vision (CV)においてますます不可欠になっています。現代のmulti-modal modelsや、YOLO-Worldなどのオープンボキャブラリー検出器を使用すると、ユーザーは事前定義された数値クラスIDではなく、natural language processing (NLP)を使用して検出ターゲットを定義できます。
この文脈において、「プロンプト」はオブジェクトのテキスト説明です（例：「赤いヘルメットをかぶった人物」）。zero-shot learningとして知られるこの機能により、システムは視覚的特徴とセマンティックな埋め込みの間に学習された関連性を活用して、明示的にトレーニングされていないオブジェクトを検出できます。クラスが固定されている高速な本番環境では、開発者は最終的にプロンプト付きモデルから、YOLO26のような効率的で再学習されたモデルに移行する可能性がありますが、プロンプトエンジニアリングは迅速なプロトタイピングと柔軟性の鍵であり続けます。
実社会での応用#
プロンプトエンジニアリングは、柔軟でインテリジェントな自動化を実現することで、多様な業界で価値を生み出します。
- 動的ビジュアルアナリティクス： AI in Retailにおいて、店舗マネージャーは技術的な介入なしに特定のアイテムを検索するためにプロンプトベースのビジョンモデルを使用します。システムに「空の棚」をある日、「置き間違えられた商品」を別の日追跡するようにプロンプトを出すことができます。この柔軟性により、企業はobject detectionシステムを季節のトレンドに即座に適応させることができます。
- 自動コンテンツ作成： マーケティングチームは、Stable DiffusionやMidjourneyなどのtext-to-imageジェネレーターを誘導するために詳細なプロンプトに依存しています。照明、芸術的スタイル、構図を指定するプロンプトをエンジニアリングすることで、デザイナーはビジュアルアセットを迅速に生成できます。
- インテリジェント知識検索： カスタマーサポートにおいて、エンジニアは検証された企業のデータのみを使用してクエリに回答するようにchatbotsに指示する「システムプロンプト」を設計します。これはRetrieval-Augmented Generation (RAG)の主要なコンポーネントであり、AIがhallucinations in LLMsを回避しながら役立つペルソナを維持することを保証します。
Ultralyticsによる実装#
次の例は、ultralyticsパッケージを使用してプロンプトエンジニアリングがプログラムでどのように適用されるかを示しています。ここでは、固定のクラスリストを使用するYOLO26などの標準モデルとは対照的に、テキストプロンプトを受け入れて動的に探すべきオブジェクトを定義するYOLO-Worldモデルを使用します。
from ultralytics import YOLO
# Load a YOLO-World model capable of interpreting text prompts
model = YOLO("yolov8s-world.pt")
# Apply prompt engineering to define custom classes dynamically
# The model maps these text descriptions to visual features
model.set_classes(["person in safety vest", "forklift", "blue hardhat"])
# Run inference on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")
# Show results - the model only detects objects matching the prompts
results[0].show()関連概念の区別#
Ultralytics Platformを介してAIソリューションを効果的にデプロイするには、プロンプトエンジニアリングを同様の最適化技術と区別することが重要です。
- プロンプトエンジニアリング対Prompt Tuning： プロンプトエンジニアリングには、自然言語の入力を手動で作成することが含まれます。対照的に、プロンプトチューニングは、トレーニングフェーズ中に「ソフトプロンプト」（連続ベクトル埋め込み）を学習するparameter-efficient fine-tuning (PEFT)メソッドです。これらのソフトプロンプトは、人間のユーザーには見えない数学的最適化です。
- プロンプトエンジニアリング対Fine-Tuning： ファインチューニングでは、特定のtraining datasetを使用してモデルの重みを永続的に更新し、タスクに特化させます。プロンプトエンジニアリングはモデル自体を変更せず、real-time inference中に入力を最適化するだけです。
- プロンプトエンジニアリング対Prompt Injection： エンジニアリングが建設的である一方で、プロンプトインジェクションは、悪意のある入力がモデルを操作して安全制約を無視させるセキュリティ脆弱性です。AI Safetyを確保するには、このような敵対的プロンプトに対する強力な防御が必要です。
