Prompt Compression

プロンプト圧縮とは、大規模言語モデル（LLM）やマルチモーダルモデルに入力されるテキストの長さと複雑さを削減するために設計された高度な最適化技術です。重複する単語、無関係なコンテキスト、ストップワードをアルゴリズムによって削除しつつ、核となる意味論的意味を維持することで、AIシステムによる効率的な情報処理を可能にします。この手法は、計算コストの最小化、推論レイテンシの低減、モデルの最大コンテキストウィンドウを超過しないようにするためにますます重要になっています。

Link to this sectionプロンプト圧縮の仕組み#

アーキテクチャレベルにおいて、プロンプト圧縮では多くの場合、小型で専門化されたモデルや情報理論的アルゴリズムを使用して、特定のプロンプト内の各トークンの重要性を評価します。トークンマージやエントロピーベースの剪定といった手法により、全体的な意味にほとんど寄与しないトークンを特定し、削除します。これにより、最終的な入力には最も密度の高い情報のみが含まれるようになります。

権威ある組織による最近の研究では、高度に圧縮されたプロンプトであっても、複雑な推論タスクでのパフォーマンスを維持しながら、トークン消費量を大幅に削減できることが示されています。スケーラブルなアプリケーションにAIを統合する開発者にとって、OpenAIのプロンプトエンジニアリングガイドラインを遵守し、圧縮フレームワークを活用することは、効率的なデプロイのための標準的なベストプラクティスです。

Link to this section実社会での応用#

プロンプト圧縮は、膨大なテキストデータや視覚データの迅速な処理が必要とされるシナリオにおいて、即座に価値を提供します：

• 検索拡張生成（RAG）： エンタープライズ検索アプリケーションでは、RAGパイプラインは単一のユーザークエリに回答するために、数十件もの長いドキュメントを検索することがよくあります。プロンプト圧縮アルゴリズムは、これらの検索されたドキュメントを縮小し、生成モデルに渡す前に簡潔な事実の要約に抽出します。これにより、トークンのオーバーフローを防ぎ、リアルタイム推論を加速させます。
• 自律型AIエージェント： エージェントやチャットボットは、ユーザーとのやり取りの長期的な記憶を保持しなければなりません。すべての新しいクエリに会話履歴全体を渡すのではなく、圧縮技術によって古い対話ターンを要約することで、指数関数的な計算コストを発生させることなく、エージェントがコンテキストを認識した状態を維持できます。

Link to this sectionプロンプト圧縮と関連技術の比較#

堅牢な機械学習オペレーション（MLOps）パイプラインを構築するために、プロンプト圧縮を関連する概念から区別することが重要です：

• プロンプトキャッシュとの違い： キャッシュは、以前に処理されたテキストの内部計算状態を保存し、再計算を回避します。一方で圧縮は、処理が行われる前に、入力テキスト自体を積極的に変更し短縮します。
• プロンプトエンジニアリングとの違い： プロンプトエンジニアリングは、効果的な指示を設計する人間主導の技術です。圧縮は、それらの指示を自動的にアルゴリズムで削減するものです。
• プロンプトエンリッチメントとの違い： エンリッチメントは外部コンテキストを追加してプロンプトを拡張するのに対し、圧縮はプロンプトを縮小します。これらは併用されることが多く、システムがデータベースの結果でプロンプトを強化し、推論の前に最終的なペイロードを圧縮するといった運用が行われます。

Link to this sectionコンピュータビジョンにおける実装#

コンピュータビジョン（CV）では、物体を識別するためにテキストクエリを受け入れるオープン語彙モデルを使用する際に、プロンプト圧縮の原則が適用されます。クラスの説明を簡潔に保つことで、テキストエンコーディングを高速化し、メモリオーバーヘッドを削減できます。

速度が最優先される固定クラスのプロダクション環境では、開発者は通常、テキストプロンプトモデルからUltralytics YOLO26のような高度に最適化された固定アーキテクチャモデルへと移行します。Ultralytics Platformを使用して、これらの最先端モデルのデータセット管理やトレーニングを効率的に行うことができます。

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()