Prompt Compression

Сжатие промптов — это передовой метод оптимизации, предназначенный для уменьшения длины и сложности входного текста, предоставляемого большим языковым моделям (LLM) и мультимодальным моделям. Алгоритмически удаляя лишние слова, нерелевантный контекст и стоп-слова при сохранении основного семантического смысла, сжатие промптов позволяет системам ИИ обрабатывать информацию более эффективно. Этот метод становится все более важным для минимизации вычислительных затрат, сокращения задержки инференса и предотвращения превышения моделями максимального контекстного окна.

Link to this sectionКак работает сжатие промптов#

На архитектурном уровне сжатие промптов часто использует небольшие специализированные модели или теоретико-информационные алгоритмы для оценки важности каждого токена в заданном промпте. Такие методы, как объединение токенов и прунинг на основе энтропии, выявляют и удаляют токены, которые мало влияют на общий смысл. Это гарантирует, что итоговый ввод содержит только наиболее информативно насыщенные данные.

Недавние исследования авторитетных организаций подчеркивают, что сильно сжатые промпты могут сохранять производительность в задачах на сложное логическое мышление, при этом значительно сокращая потребление токенов. Для разработчиков, интегрирующих ИИ в масштабируемые приложения, соблюдение руководств по оптимизации промптов от OpenAI и использование фреймворков для сжатия является стандартной передовой практикой для эффективного развертывания.

Link to this sectionРеальные применения#

Сжатие промптов приносит мгновенную пользу в сценариях, требующих быстрой обработки больших объемов текстовых или визуальных данных:

• RAG (Retrieval-Augmented Generation): В корпоративных поисковых приложениях пайплайны RAG часто извлекают десятки длинных документов, чтобы ответить на один запрос пользователя. Алгоритмы сжатия промптов сокращают эти извлеченные документы, превращая их в краткие фактические резюме перед передачей в генеративную модель. Это предотвращает переполнение токенов и ускоряет инференс в реальном времени.
• Автономные агенты ИИ: Агенты и чат-боты должны хранить долгосрочную память о взаимодействиях с пользователем. Вместо передачи всей истории разговора в каждый новый запрос методы сжатия резюмируют более ранние части диалога, гарантируя, что агент остается в контексте без экспоненциального роста вычислительных затрат.

Link to this sectionСжатие промптов и связанные методы#

Чтобы создавать надежные пайплайны MLOps, важно отличать сжатие промптов от смежных концепций:

• Vs. Кэширование промптов: Кэширование сохраняет внутренние вычислительные состояния ранее обработанного текста, чтобы избежать их повторного вычисления. Сжатие, напротив, активно изменяет и укорачивает сам входной текст до начала любого процесса обработки.
• Vs. Промпт-инжиниринг: Промпт-инжиниринг — это управляемое человеком искусство создания эффективных инструкций. Сжатие — это автоматизированное, алгоритмическое сокращение этих инструкций.
• Vs. Обогащение промптов: Обогащение расширяет промпт, добавляя внешний контекст, в то время как сжатие его уменьшает. Они часто используются вместе: система может обогатить промпт результатами из базы данных, а затем сжать итоговые данные перед инференсом.

Link to this sectionРеализация в компьютерном зрении#

В компьютерном зрении (CV) принципы сжатия промптов применяются при использовании моделей с открытым словарем, которые принимают текстовые запросы для идентификации объектов. Лаконичность описаний классов обеспечивает более быстрое текстовое кодирование и снижает нагрузку на память.

Для производственных сред с фиксированными классами, где скорость имеет первостепенное значение, разработчики обычно переходят от моделей, управляемых промптами, к высокооптимизированным моделям с фиксированной архитектурой, таким как Ultralytics YOLO26. Ты можешь эффективно управлять датасетами и обучать эти передовые модели с помощью платформы Ultralytics.

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()