Prompt Compression

Nén prompt rút ngắn đầu vào cho một mô hình ngôn ngữ lớn (LLM) nhưng vẫn giữ thông tin cần thiết để model trả lời, nhờ đó yêu cầu sử dụng ít token hơn, chạy nhanh hơn và nằm gọn trong cửa sổ ngữ cảnh. Các phương pháp gồm xóa từ dễ dự đoán bằng model ngôn ngữ nhỏ, tóm tắt lịch sử dài hoặc huấn luyện token nhỏ gọn đã học để thay thế cả đoạn văn. Nén hữu ích khi prompt dài và được gửi thường xuyên, như trong pipeline sinh tăng cường truy xuất (RAG) chèn nhiều tài liệu truy xuất, tác tử AI có lịch sử tăng theo từng bước, và ứng dụng dùng chỉ dẫn cùng ví dụ dài. Nhà cung cấp tính phí theo token đầu vào, còn chi phí tính toán của attention tăng theo độ dài đầu vào; do đó, nén prompt còn một nửa sẽ giảm gần một nửa chi phí đầu vào và giảm độ trễ suy luận.

Cách nén prompt hoạt động#

Nén prompt cứng chuyển văn bản thành văn bản ngắn hơn mà mọi LLM, kể cả model API đóng, đều có thể đọc. Hầu hết phương pháp chấm điểm từng token bằng một model ngôn ngữ nhỏ rồi loại bỏ các token dễ dự đoán nhất, vì chúng chứa ít thông tin nhất. Selective Context áp dụng ý tưởng này cho từ và cụm từ; LLMLingua của Microsoft bổ sung bộ điều khiển ngân sách, phân bổ tỷ lệ nén khác nhau cho chỉ dẫn, ví dụ và câu hỏi, cùng cơ chế cắt tỉa token lặp, đạt mức nén lên đến 20x với ít suy giảm hiệu năng. LLMLingua-2 chuyển bài toán nén thành phân loại token bằng bộ mã hóa hai chiều như XLM-RoBERTa, được huấn luyện trên các ví dụ nén chắt lọc từ LLM lớn hơn; phương pháp này chạy nhanh hơn 3x đến 6x so với các phương pháp trước và tăng tốc độ trễ đầu-cuối 1.6x đến 2.9x ở mức nén 2x đến 5x. Thay vào đó, các phương pháp trừu tượng yêu cầu model tóm tắt ngữ cảnh; cách này nén nhiều hơn nhưng có thể bỏ sót chi tiết cần thiết để trả lời câu hỏi.

Nén prompt mềm chuyển văn bản thành một số ít embedding đã học mà model đọc thay cho các token gốc. Token gist huấn luyện LLaMA-7B và FLAN-T5-XXL để nén chỉ dẫn thành một nhóm nhỏ token đặc biệt, đạt mức nén lên đến 26x và giảm FLOP đến 40%. Các phương pháp này cần truy cập trọng số model nên chỉ áp dụng cho model mở.

Phần cốt lõi của nén ở cấp token chỉ cần vài dòng PyTorch. Ví dụ này dùng GPT-2 có 124 triệu tham số từ Hugging Face Transformers để tính thông tin tự thân của từng token — log xác suất âm của token dựa trên toàn bộ nội dung đứng trước — rồi giữ lại một nửa số token gây bất ngờ hơn:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
prompt = (
    "The quarterly maintenance report states that, as of the end of the quarter, a total of three conveyor "
    "belts on line 4 were found to have worn bearings, and all of them were replaced on March 12 by the night shift."
)
ids = tokenizer(prompt, return_tensors="pt").input_ids[0]

# Self-information of each token, -log p(token | preceding tokens), under a small language model
with torch.no_grad():
    logits = model(ids[None]).logits[0, :-1]
info = -logits.log_softmax(-1).gather(1, ids[1:, None]).squeeze(1)

# Keep the first token and the more surprising half of the rest, in their original order
keep = torch.cat([torch.tensor([True]), info > info.median()])
compressed = tokenizer.decode(ids[keep])
print(f"{len(ids)} -> {keep.sum().item()} tokens: {compressed}")

Kết quả in ra là 46 -> 23 tokens: The quarterly maintenance report states, a three convey on line 4 found worn bearings all replaced on March 12 by night shift. Các dữ kiện vẫn còn, gồm dòng 4, vòng bi bị mòn, ngày 12 tháng 3 và ca đêm, trong khi phần thừa dễ dự đoán như "tính đến cuối quý" biến mất. Mảnh từ "convey", còn sót lại từ "conveyor belts", là lỗi thường gặp khi cắt tỉa từng token riêng lẻ; vì vậy một số phương pháp cắt tỉa cả từ hoặc cụm từ.

Nén hình ảnh#

Model thị giác-ngôn ngữ chuyển mỗi ảnh thành hàng trăm token thị giác, trong đó nhiều token dư thừa. FastV cắt tỉa một nửa số token ảnh sau layer thứ hai, giảm FLOP 45% cho LLaVA-1.5-13B mà không làm giảm hiệu năng; gộp token áp dụng ý tưởng tương tự bên trong vision transformer. Bộ phát hiện đối tượng cũng có thể nén ảnh: Ultralytics YOLO26 rút gọn ảnh thành Results.summary(), một danh sách gồm tên lớp, độ tin cậy và tọa độ box của từng đối tượng; nhờ đó, pipeline LLM chỉ cần biết có những đối tượng nào và chúng ở đâu có thể gửi vài chục token cho mỗi đối tượng thay vì ảnh có thể tốn từ hàng trăm đến hơn một nghìn token.

Nén prompt và các kỹ thuật liên quan#

• Lưu bộ nhớ đệm prompt: Lưu các trạng thái đã tính của model cho tiền tố prompt lặp lại để không phải tính lại. Độ dài prompt không đổi; hai kỹ thuật kết hợp hiệu quả khi nén phần biến đổi của prompt và lưu bộ nhớ đệm cho phần cố định.
• Nén KV cache: Loại bỏ hoặc lượng tử hóa các trạng thái key-value bên trong model trong quá trình sinh nội dung. Nén prompt tác động lên đầu vào trước khi model tiếp nhận.
• Kỹ thuật prompt: Con người tự viết prompt rõ ràng, súc tích. Nén được tự động hóa và áp dụng cho nội dung không ai chỉnh sửa, chẳng hạn tài liệu được truy xuất.
• Kỹ thuật ngữ cảnh: Thực hành rộng hơn nhằm quyết định nội dung nào đi vào ngữ cảnh của model ở mỗi bước. Nén là một công cụ trong nhóm này, bên cạnh truy xuất và lọc.
• Làm giàu prompt: Bổ sung ngữ cảnh được truy xuất hoặc tạo ra vào prompt. Pipeline thường làm giàu trước rồi nén kết quả.

Ứng dụng thực tế#

• Pipeline RAG: Các đoạn văn được truy xuất sẽ được nén trước khi sinh nội dung, giúp đưa thêm nguồn vào ngân sách token và giữ model tập trung vào những câu trả lời câu hỏi.
• Lịch sử tác tử: Tác tử lập trình và nghiên cứu sẽ rút gọn lịch sử khi ngữ cảnh đầy, thay các đầu ra công cụ và lượt trao đổi cũ bằng bản tóm tắt, vì độ chính xác giảm khi ngữ cảnh dài bị lấp đầy bởi nội dung lỗi thời.
• Prompt few-shot: Danh sách dài các ví dụ đã giải có thể được nén hiệu quả. Bộ điều khiển ngân sách của LLMLingua trước tiên loại bỏ toàn bộ ví dụ minh họa theo thứ tự perplexity, sau đó cắt tỉa từng token trong khi giữ lại 85% chỉ dẫn và 90% câu hỏi theo thiết lập mặc định của bài báo.