Prompt Compression

Сжатие промптов — это передовой метод оптимизации, разработанный для уменьшения длины и сложности входного текста, предоставляемого Large Language Models (LLMs) и multi-modal models. Алгоритмически удаляя избыточные слова, нерелевантный контекст и стоп-слова с сохранением основного семантического смысла, сжатие промптов позволяет ИИ-системам обрабатывать информацию более эффективно. Этот метод становится все более критически важным для минимизации вычислительных затрат, сокращения inference latency и предотвращения превышения моделями максимального context window.

Как работает сжатие промптов#

На архитектурном уровне сжатие промптов часто использует меньшие по размеру специализированные модели или информационно-теоретические алгоритмы для оценки важности каждого token в заданном промпте. Такие методы, как token merging and entropy-based pruning, идентифицируют и удаляют токены, которые вносят минимальный вклад в общий смысл. Это гарантирует, что финальный ввод содержит только самую плотную информацию.

Последние исследования авторитетных организаций показывают, что сильно сжатые промпты могут сохранять производительность в задачах сложного рассуждения, существенно снижая потребление токенов. Для разработчиков, интегрирующих ИИ в масштабируемые приложения, соблюдение prompt optimization guidelines by OpenAI и использование фреймворков сжатия является стандартной лучшей практикой для эффективного развертывания.

Реальные приложения#

Сжатие промптов приносит немедленную пользу в сценариях, требующих быстрой обработки обширных текстовых или визуальных данных:

• Retrieval-Augmented Generation (RAG): В приложениях корпоративного поиска пайплайны RAG часто извлекают десятки длинных документов для ответа на один пользовательский запрос. Алгоритмы сжатия промптов уменьшают эти извлеченные документы, дистиллируя их в краткие фактические сводки перед передачей модели генерации. Это предотвращает переполнение токенов и ускоряет real-time inference.
• Autonomous AI Agents: Агенты и chatbots должны поддерживать долгосрочную память о взаимодействиях с пользователем. Вместо того чтобы передавать всю историю диалога в каждый новый запрос, методы сжатия суммируют более старые ходы диалога, гарантируя, что агент сохраняет осведомленность о контексте без экспоненциальных вычислительных затрат.

Сжатие промптов в сравнении с похожими методами#

Для построения надежных пайплайнов machine learning operations (MLOps) важно отличать сжатие промптов от связанных концепций:

• По сравнению с Prompt Caching: Кэширование сохраняет внутренние вычислительные состояния ранее обработанного текста, чтобы избежать их повторного вычисления. Сжатие же активно изменяет и сокращает сам входной текст до того, как начнется какая-либо обработка.
• По сравнению с Prompt Engineering: Промпт-инжиниринг — это управляемое человеком искусство создания эффективных инструкций. Сжатие — это автоматическое алгоритмическое сокращение этих инструкций.
• По сравнению с Prompt Enrichment: Обогащение расширяет промпт добавлением внешнего контекста, в то время как сжатие его уменьшает. Они часто используются вместе: система может обогатить промпт результатами базы данных, а затем сжать финальный полезный груз перед инференсом.

Реализация в компьютерном зрении#

В области Computer Vision (CV) принципы сжатия промптов применяются при использовании моделей с открытым словарным запасом, которые принимают текстовые запросы для идентификации объектов. Поддержание краткости описаний классов обеспечивает более быстрое текстовое кодирование и снижает накладные расходы памяти.

Для производственных сред с фиксированными классами, где скорость имеет первостепенное значение, разработчики обычно переходят от моделей, управляемых текстовыми промптами, к высокооптимизированным моделям с фиксированной архитектурой, таким как Ultralytics YOLO26. Ты можешь эффективно управлять наборами данных и обучать эти ультрасовременные модели с помощью Ultralytics Platform.

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()