Prompt Compression

プロンプト圧縮は、大規模言語モデル (LLMs)やマルチモーダルモデルに提供される入力テキストの長さと複雑さを軽減するために設計された高度な最適化テクニックです。冗長な単語、無関係なコンテキスト、ストップワードをアルゴリズムによって排除しつつ、中心的な意味的意味を保持することにより、プロンプト圧縮はAIシステムが情報をより効率的に処理できるようにします。この手法は、計算コストの最小化、推論レイテンシの削減、およびモデルが最大コンテキストウィンドウを超えることを防ぐためにますます重要になっています。

プロンプト圧縮の仕組み#

アーキテクチャレベルでは、プロンプト圧縮は、多くの場合、より小型で特化したモデルや情報理論的アルゴリズムを利用して、特定のプロンプト内の各トークンの重要性を評価します。トークンマージやエントロピーベースのプルーニングなどのテクニックは、全体的な意味への貢献度が低いトークンを特定して削除します。これにより、最終的な入力には最も密度の高い情報のみが含まれるようになります。

権威ある組織による最近の研究では、高度に圧縮されたプロンプトが複雑な推論タスクのパフォーマンスを維持しながら、トークン消費量を大幅に削減できることが強調されています。AIをスケーラブルなアプリケーションに統合する開発者にとって、OpenAIによるプロンプト最適化ガイドラインを遵守し、圧縮フレームワークを活用することは、効率的なデプロイのための標準的なベストプラクティスです。

実社会での応用#

プロンプト圧縮は、膨大なテキストデータや視覚データの迅速な処理が必要とされるシナリオにおいて、即座に価値を提供します：

• 検索拡張生成 (RAG): エンタープライズ検索アプリケーションでは、RAGパイプラインは1つのユーザーのクエリに答えるために数十もの長大なドキュメントを検索することがよくあります。プロンプト圧縮アルゴリズムは、これら検索されたドキュメントを縮小し、生成モデルに渡す前に簡潔な事実の要約に落とし込みます。これにより、トークンのオーバーフローを防ぎ、リアルタイム推論を加速させます。
• 自律型AIエージェント: エージェントやチャットボットは、ユーザーインタラクションの長期的なメモリを維持する必要があります。すべての新しいクエリに会話の履歴全体を渡す代わりに、圧縮技術古い対話ターンを要約し、指数関数的な計算コストを発生させることなく、エージェントがコンテキストを認識し続けられるようにします。

プロンプト圧縮と関連技術の比較#

堅牢な機械学習運用 (MLOps)パイプラインを構築するためには、プロンプト圧縮を関連する概念から区別することが重要です:

• vs. プロンプトキャッシング: キャッシングは、以前に処理されたテキストの内部計算状態を保存することで、それらの再計算を回避します。一方、圧縮は、処理が行われる前に入力テキスト自体を積極的に変更して短縮します。
• vs. プロンプトエンジニアリング: プロンプトエンジニアリングは、効果的な指示を設計する人間主導の技術です。圧縮は、それらの指示の自動化されたアルゴリズムによる削減です。
• vs. プロンプトエンリッチメント: エンリッチメントは外部コンテキストを追加してプロンプトを拡張するのに対し、圧縮はプロンプトを削減します。これらは併用されることが多く、システムがデータベースの結果でプロンプトをエンリッチし、推論の前に最終的なペイロードを圧縮する場合があります。

コンピュータビジョンにおける実装#

コンピュータビジョン (CV)では、オブジェクトを識別するためにテキストクエリを受け入れるオープンボキャブラリモデルを使用する際に、プロンプト圧縮の原則が適用されます。クラス説明を簡潔に保つことで、より高速なテキストエンコーディングが保証され、メモリオーバーヘッドが削減されます。

スピードが最優先される固定クラスの本番環境では、開発者は通常、テキストプロンプトモデルから、Ultralytics YOLO26のような高度に最適化された固定アーキテクチャモデルに移行します。Ultralyticsプラットフォームを使用して、データセットを効率的に管理し、これらの最先端モデルをトレーニングできます。

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()