Prompt Compression

Nén prompt là một kỹ thuật tối ưu hóa nâng cao được thiết kế nhằm giảm độ dài và độ phức tạp của văn bản đầu vào cung cấp cho Large Language Models (LLMs) và multi-modal models. Bằng cách loại bỏ một cách thuật toán các từ ngữ dư thừa, ngữ cảnh không liên quan và stop words trong khi vẫn giữ nguyên ý nghĩa ngữ nghĩa cốt lõi, việc nén prompt cho phép các hệ thống AI xử lý thông tin hiệu quả hơn. Phương pháp này ngày càng trở nên quan trọng để giảm thiểu chi phí tính toán, giảm inference latency và ngăn chặn các model vượt quá mức context window tối đa của chúng.

Cách thức hoạt động của Nén câu lệnh#

Ở cấp độ kiến trúc, việc nén prompt thường sử dụng các model nhỏ hơn, chuyên biệt hoặc các thuật toán lý thuyết thông tin để đánh giá mức độ quan trọng của từng token trong một prompt cho trước. Các kỹ thuật như token merging and entropy-based pruning xác định và loại bỏ các token đóng góp ít vào ý nghĩa tổng thể. Điều này đảm bảo rằng đầu vào cuối cùng chỉ chứa thông tin được đóng gói dày đặc nhất.

Các nghiên cứu gần đây từ các tổ chức có thẩm quyền nhấn mạnh rằng các prompt được nén cao độ có thể duy trì hiệu suất trên các tác vụ suy luận phức tạp đồng thời giảm đáng kể mức tiêu thụ token. Đối với các lập trình viên tích hợp AI vào các ứng dụng có khả năng mở rộng, việc tuân thủ prompt optimization guidelines by OpenAI và tận dụng các framework nén là một best practice tiêu chuẩn cho việc triển khai hiệu quả.

Các ứng dụng trong thực tế#

Nén câu lệnh mang lại giá trị tức thì trong các tình huống yêu cầu xử lý nhanh chóng dữ liệu văn bản hoặc hình ảnh phong phú:

• Retrieval-Augmented Generation (RAG): Trong các ứng dụng tìm kiếm doanh nghiệp, các pipeline RAG thường truy xuất hàng chục tài liệu dài để trả lời một truy vấn duy nhất của người dùng. Các thuật toán nén prompt thu gọn các tài liệu được truy xuất này, cô đọng chúng thành các bản tóm tắt thực tế súc tích trước khi đưa vào model tạo sinh. Điều này ngăn chặn hiện tượng tràn token và tăng tốc real-time inference.
• Autonomous AI Agents: Các agent và chatbots phải duy trì bộ nhớ dài hạn về các tương tác của người dùng. Thay vì chuyển toàn bộ lịch sử hội thoại vào mọi truy vấn mới, các kỹ thuật nén sẽ tóm tắt các lượt hội thoại cũ hơn, đảm bảo agent duy trì nhận thức về ngữ cảnh mà không phát sinh chi phí tính toán theo cấp số nhân.

Nén câu lệnh so với các kỹ thuật liên quan#

Để xây dựng các pipeline machine learning operations (MLOps) vững chắc, điều quan trọng là phải phân biệt việc nén prompt với các khái niệm liên quan:

• So với Prompt Caching: Caching lưu trữ các trạng thái tính toán bên trong của văn bản đã được xử lý trước đó để tránh việc tính toán lại. Ngược lại, nén thực hiện việc thay đổi và rút ngắn trực tiếp văn bản đầu vào trước khi bất kỳ quá trình xử lý nào diễn ra.
• So với Prompt Engineering: Prompt engineering là công việc do con người thực hiện nhằm thiết kế các hướng dẫn hiệu quả. Nén là một quá trình giảm thiểu tự động bằng thuật toán đối với các hướng dẫn đó.
• So với Prompt Enrichment: Làm giàu prompt mở rộng prompt bằng cách bổ sung ngữ cảnh bên ngoài, trong khi nén làm giảm bớt ngữ cảnh đó. Chúng thường được sử dụng kết hợp: một hệ thống có thể làm giàu prompt bằng kết quả từ cơ sở dữ liệu và sau đó nén payload cuối cùng trước khi suy luận.

Triển khai trong Thị giác máy tính#

Trong Computer Vision (CV), các nguyên tắc nén prompt được áp dụng khi sử dụng các model mở từ vựng (open-vocabulary) chấp nhận các truy vấn văn bản để nhận diện đối tượng. Việc giữ cho các mô tả lớp súc tích đảm bảo quá trình mã hóa văn bản diễn ra nhanh hơn và giảm tải bộ nhớ.

Đối với các môi trường sản xuất lớp cố định, nơi tốc độ là yếu tố tối quan trọng, các lập trình viên thường chuyển từ các model được nhắc bằng văn bản sang các model có kiến trúc cố định, được tối ưu hóa cao như Ultralytics YOLO26. Bạn có thể quản lý dataset và huấn luyện các model tiên tiến này một cách hiệu quả bằng cách sử dụng Ultralytics Platform.

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()