Prompt Compression

يختصر ضغط المطالبات مدخلات النموذج اللغوي الكبير (LLM) مع الحفاظ على المعلومات اللازمة للإجابة، فتستخدم المطالبة عددًا أقل من الرموز، ويكون تنفيذها أسرع وتلائم نافذة السياق. وتتراوح الطرق بين حذف الكلمات المتوقعة باستخدام نموذج لغوي صغير، وتلخيص السجلات الطويلة، وتدريب رموز مضغوطة متعلمة تحل محل مقاطع كاملة. ويكون الضغط مجديًا عندما تكون المطالبات طويلة ومتكررة الإرسال، كما في خطوط التوليد المعزز بالاسترجاع (RAG) التي تدرج وثائق مسترجعة كثيرة، ووكلاء الذكاء الاصطناعي التي تتراكم سجلاتها مع كل خطوة، والتطبيقات ذات التعليمات والأمثلة المطولة. ويفوتر مزودو الخدمة بحسب رموز الإدخال، كما يزداد الحوسبة اللازمة لـالانتباه مع طول الإدخال، لذا فإن ضغط المطالبة إلى النصف يخفض تكلفة الإدخال إلى النصف تقريبًا ويقلل زمن الاستدلال.

آلية عمل ضغط المطالبات#

يحوّل ضغط المطالبات الصلب النص إلى نص أقصر يستطيع أي LLM قراءته، بما في ذلك نماذج واجهات API المغلقة. وتقيّم معظم الطرق كل رمز باستخدام نموذج لغوي صغير، ثم تحذف الرموز التي يجد النموذج سهولة في توقعها، لأنها تحمل أقل قدر من المعلومات. وتطبق Selective Context هذه الفكرة على الكلمات والعبارات، فيما تضيف LLMLingua من Microsoft متحكمًا بالميزانية يخصص نسب ضغط مختلفة للتعليمات والأمثلة والسؤال، إلى جانب تشذيب تكراري على مستوى الرمز، محققةً ضغطًا يصل إلى 20 ضعفًا مع خسارة طفيفة في الأداء. وتعالج LLMLingua-2 الضغط على أنه تصنيف للرموز باستخدام مشفر ثنائي الاتجاه مثل XLM-RoBERTa، دُرّب على أمثلة ضغط قُطّرت من LLM أكبر، وتعمل بسرعة تفوق الطرق السابقة بثلاثة إلى ستة أضعاف، وتسرّع زمن الاستجابة الشامل بمقدار 1.6 إلى 2.9 ضعف عند ضغط يتراوح بين ضعفين وخمسة أضعاف. أما الطرق التجريدية فتطلب من نموذج تلخيص السياق بدلًا من ذلك، ما يحقق ضغطًا أكبر لكنه قد يحذف تفاصيل يحتاج إليها السؤال.

يحوّل ضغط المطالبات اللين النص إلى بضعة تضمينات متعلمة يقرأها النموذج بدلًا من الرموز الأصلية. وتدرّب رموز Gist نموذجي LLaMA-7B وFLAN-T5-XXL على اختزال التعليمات إلى حفنة من الرموز الخاصة، محققةً ضغطًا يصل إلى 26 ضعفًا وخفضًا يصل إلى 40% في عمليات الفاصلة العائمة. وتتطلب هذه الطرق الوصول إلى أوزان النموذج، لذا تنطبق على النماذج المفتوحة.

يمكن تنفيذ أساسيات الضغط على مستوى الرمز في بضعة أسطر من PyTorch. ويستخدم هذا المثال GPT-2 ذي 124 مليون معلمة من Hugging Face Transformers لحساب المعلومات الذاتية لكل رمز، أي سالب لوغاريتم احتمال الرمز بالنظر إلى كل ما سبقه، ثم يُبقي النصف الأكثر إثارةً للاستغراب:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
prompt = (
    "The quarterly maintenance report states that, as of the end of the quarter, a total of three conveyor "
    "belts on line 4 were found to have worn bearings, and all of them were replaced on March 12 by the night shift."
)
ids = tokenizer(prompt, return_tensors="pt").input_ids[0]

# Self-information of each token, -log p(token | preceding tokens), under a small language model
with torch.no_grad():
    logits = model(ids[None]).logits[0, :-1]
info = -logits.log_softmax(-1).gather(1, ids[1:, None]).squeeze(1)

# Keep the first token and the more surprising half of the rest, in their original order
keep = torch.cat([torch.tensor([True]), info > info.median()])
compressed = tokenizer.decode(ids[keep])
print(f"{len(ids)} -> {keep.sum().item()} tokens: {compressed}")

يطبع 46 -> 23 tokens: The quarterly maintenance report states, a three convey on line 4 found worn bearings all replaced on March 12 by night shift. وتبقى الحقائق، ومنها السطر 4 والمحامل المهترئة و12 مارس والنوبة الليلية، بينما تختفي الحشوات المتوقعة مثل «اعتبارًا من نهاية الربع». أما المقطع «convey» المتبقي من «conveyor belts» فهو أثر نموذجي لتشذيب الرموز المفردة، ولذلك تشذّب بعض الطرق كلمات أو عبارات كاملة.

ضغط الصور#

تحول نماذج الرؤية واللغة كل صورة إلى مئات الرموز المرئية، وكثير منها زائد عن الحاجة. وتشذّب FastV نصف رموز الصورة بعد الطبقة الثانية، وتخفض عمليات الفاصلة العائمة بنسبة 45% في LLaVA-1.5-13B دون التضحية بالأداء، كما يطبق دمج الرموز فكرة مشابهة داخل محولات الرؤية. ويمكن لكاشف الأجسام أن يعمل أيضًا ضاغطًا للصور: إذ يختزل Ultralytics YOLO26 الصورة إلى Results.summary()، وهي قائمة تتضمن اسم فئة كل جسم ودرجة الثقة وإحداثيات المربع، بحيث يمكن لخط أنابيب LLM الذي يحتاج فقط إلى معرفة الأجسام الموجودة ومواقعها إرسال بضع عشرات من الرموز لكل جسم بدلًا من صورة تكلف مئات الرموز أو أكثر من ألف.

ضغط المطالبات مقارنةً بالتقنيات ذات الصلة#

• التخزين المؤقت للمطالبات: يخزن الحالات التي حسبها النموذج لبادئة مطالبة متكررة كي لا يعيد حسابها. ويظل طول المطالبة كما هو، ويمكن الجمع بين التقنيتين بفعالية عبر ضغط الجزء المتغير من المطالبة وتخزين الجزء الثابت مؤقتًا.
• ضغط ذاكرة التخزين المؤقت KV: يحذف حالات المفتاح والقيمة داخل النموذج أثناء التوليد أو يكممها. أما ضغط المطالبات فيعمل على الإدخال قبل أن يراه النموذج.
• هندسة المطالبات: يكتب الأشخاص مطالبات واضحة وموجزة يدويًا. أما الضغط فآلي، وينطبق على المحتوى الذي لا يحرره أحد، مثل الوثائق المسترجعة.
• هندسة السياق: الممارسة الأوسع لتحديد ما يدخل في سياق النموذج في كل خطوة. والضغط إحدى أدواتها، إلى جانب الاسترجاع والتصفية.
• إثراء المطالبات: يضيف سياقًا مسترجعًا أو مولدًا إلى المطالبة. وغالبًا ما تثري خطوط المعالجة المطالبة أولًا ثم تضغط النتيجة.

تطبيقات عملية#

• خطوط RAG: تضغط المقاطع المسترجعة قبل التوليد، ما يتيح إدراج مصادر أكثر ضمن الميزانية ويحافظ على تركيز النموذج على الجمل التي تجيب عن السؤال.
• سجلات الوكلاء: يختصر وكلاء البرمجة والبحث سجلاتهم عند امتلاء السياق، مستبدلين مخرجات الأدوات والأدوار القديمة بملخص، لأن الدقة تتدهور عندما تمتلئ السياقات الطويلة بمواد قديمة.
• مطالبات الأمثلة القليلة: يسهل ضغط القوائم الطويلة من الأمثلة المحلولة. إذ يحذف متحكم الميزانية في LLMLingua أولًا العروض التوضيحية كاملةً، بعد ترتيبها حسب الحيرة، ثم يشذّب الرموز المفردة، مع الإبقاء على 85% من التعليمات و90% من السؤال في الإعدادات الافتراضية للورقة.