Prompt Compression

プロンプト圧縮とは、大規模言語モデル (LLM) やマルチモーダルモデルに提供される入力テキストの長さと複雑さを削減するために設計された高度な最適化技術です。冗長な単語、無関係なコンテキスト、ストップワードをアルゴリズム的に取り除きつつ、核心的な意味を保持することで、AIシステムが情報をより効率的に処理できるようになります。この手法は、計算コストの最小化、推論レイテンシの低減、そしてモデルがコンテキストウィンドウの最大値を超えるのを防ぐためにますます重要になっています。

Link to this sectionプロンプト圧縮の仕組み#

アーキテクチャレベルでは、プロンプト圧縮は多くの場合、より小型の専門モデルや情報理論アルゴリズムを使用して、特定のプロンプト内の各トークンの重要性を評価します。トークンマージおよびエントロピーベースの枝刈りのような手法を用いて、全体的な意味にほとんど寄与しないトークンを特定し、削除します。これにより、最終的な入力には最も情報の密度が高い部分のみが含まれるようになります。

権威ある組織による最近の研究では、高度に圧縮されたプロンプトであっても、複雑な推論タスクにおいてパフォーマンスを維持しつつ、トークン消費量を大幅に削減できることが示されています。AIをスケーラブルなアプリケーションに統合する開発者にとって、OpenAIによるプロンプト最適化ガイドラインを遵守し、圧縮フレームワークを活用することは、効率的なデプロイメントのための標準的なベストプラクティスです。

Link to this section実際の応用例#

プロンプト圧縮は、膨大なテキストデータや視覚データの迅速な処理が求められるシナリオにおいて、即効性のある価値を提供します。

• 検索拡張生成 (RAG): エンタープライズ検索アプリケーションにおいて、RAGパイプラインは単一のユーザークエリに回答するために、数十もの長大なドキュメントを検索することがよくあります。プロンプト圧縮アルゴリズムは、これらの検索されたドキュメントを縮小し、生成モデルに渡す前に簡潔な事実要約へと抽出します。これにより、トークンのオーバーフローを防ぎ、リアルタイム推論を加速させます。
• 自律型AIエージェント: エージェントやチャットボットは、ユーザーとのやり取りの長期的な記憶を保持しなければなりません。すべての新しいクエリに会話履歴全体を渡すのではなく、圧縮技術によって古い対話の内容を要約し、計算コストを指数関数的に増大させることなく、エージェントがコンテキストを把握し続けることができるようにします。

Link to this sectionプロンプト圧縮と関連技術の比較#

堅牢な機械学習運用 (MLOps) パイプラインを構築するためには、プロンプト圧縮と関連する概念を区別することが重要です。

• vs. プロンプトキャッシュ: キャッシュは、以前に処理されたテキストの内部計算状態を保存することで、再計算を回避します。一方、圧縮は、処理が行われる前に、入力テキスト自体を積極的に変更および短縮します。
• vs. プロンプトエンジニアリング: プロンプトエンジニアリングは、効果的な指示を設計するという人間主導の作業です。圧縮は、それらの指示を自動的かつアルゴリズム的に削減するものです。
• vs. プロンプトエンリッチメント: エンリッチメントは外部コンテキストを追加することでプロンプトを拡張しますが、圧縮はそれを削減します。これらは併用されることが多く、システムがデータベースの結果でプロンプトをエンリッチし、推論の前に最終的なペイロードを圧縮するといった運用が行われます。

Link to this sectionコンピュータビジョンにおける実装#

コンピュータビジョン (CV) において、プロンプト圧縮の原則は、テキストクエリを受け入れてオブジェクトを識別するオープンボキャブラリーモデルを使用する際に適用されます。クラスの説明を簡潔に保つことで、より高速なテキストエンコーディングが実現し、メモリのオーバーヘッドを削減できます。

速度が最優先される固定クラスのプロダクション環境では、開発者は通常、テキストプロンプトモデルから、Ultralytics YOLO26 のような高度に最適化された固定アーキテクチャモデルへと移行します。Ultralytics Platform を使用して、データセットを効率的に管理し、これらの最先端モデルをトレーニングすることができます。

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()