Prompt Caching

Кэширование промптов — это передовая стратегия оптимизации, используемая в основном в generative AI для значительного снижения затрат и улучшения времени отклика при инференсе. В сфере Large Language Models (LLMs) обработка текста требует преобразования входных данных в числовые последовательности, известные как tokens. Часто большая часть входных данных — например, подробная системная инструкция, длинный юридический документ или кодовая база — остается неизменной для множества разных пользовательских запросов. Вместо повторной обработки этих неизменяемых разделов для каждого нового запроса кэширование промптов сохраняет предварительно вычисленные математические состояния (часто называемые кэшем ключ-значение) в памяти. Это позволяет inference engine пропускать избыточные вычисления, сосредоточив вычислительную мощность только на новых, динамических частях промпта пользователя.

Механизмы и преимущества#

Фундаментальная механика кэширования промптов опирается на архитектуру Transformers, которые обрабатывают данные последовательно. Выявляя повторяющийся префикс промпта, система может загружать соответствующие состояния attention mechanism напрямую из высокоскоростной памяти.

• Снижение задержки: Кэширование существенно снижает inference latency, в частности время до первого токена (TTFT). Это гарантирует, что приложения реального времени, такие как интерактивные chatbots, будут восприниматься пользователем как мгновенные.
• Экономическая эффективность: Поскольку провайдеры Cloud Computing часто выставляют счета на основе длительности вычислений или обработки токенов, пропуск тяжелой работы для статического контекста приводит к существенной экономии.
• Увеличение пропускной способности: Освобождая ресурсы GPU, серверы могут обрабатывать больший объем одновременных запросов, делая всю инфраструктуру model serving более масштабируемой.

Реальные приложения#

Кеширование промптов трансформирует отрасли, полагающиеся на большой объем данных контекста.

1. Помощники по написанию кода: В разработке программного обеспечения такие инструменты, как GitHub Copilot, используют огромные объемы контекста из открытых файлов пользователя и структуры репозитория. Кэшируя embeddings кодовой базы, модель может выдавать предложения по автодополнению кода в реальном времени без повторного анализа всей структуры файлов проекта при каждом нажатии клавиши.

2. Юридический и медицинский анализ: Профессионалы часто запрашивают AI Agents по массивным статическим документам, таким как архивы прецедентного права или записи истории болезни пациентов. С помощью Retrieval-Augmented Generation (RAG) система извлекает релевантные фрагменты текста. Кэширование промптов гарантирует, что базовый контекст этих извлеченных документов не нужно пересчитывать для последующих вопросов, оптимизируя рабочий процесс Question Answering.

Актуальность в компьютерном зрении#

Хотя традиционно кэширование ассоциируется с текстом, эта концепция жизненно важна в многомодальном Computer Vision (CV). Модели вроде YOLO-World позволяют пользователям обнаруживать объекты с помощью текстовых промптов с открытым словарем. Когда ты задаешь список классов (например, "person, backpack, car"), модель вычисляет текстовые эмбеддинги для этих классов. Кэширование этих эмбеддингов избавляет модель от необходимости перекодировать текстовые промпты для каждого отдельного видеокадра, обеспечивая высокоскоростной Real-Time Inference.

Разграничение связанных терминов#

• По сравнению с Prompt Engineering: Промпт-инжиниринг включает в себя усилия человека по разработке оптимального текстового ввода для направления модели. Кэширование промптов — это внутренняя вычислительная оптимизация, которая сохраняет обработку этого текста машиной.
• По сравнению с Prompt Tuning: Тюнинг промптов — это метод Transfer Learning, который обновляет определенные Model Weights (мягкие промпты) для адаптации модели к задаче. Кэширование не изменяет параметры модели; оно лишь запоминает состояния активации во время выполнения.

Пример кода: Кеширование текстовых эмбеддингов в задачах зрения#

Следующий фрагмент кода на Python демонстрирует концепцию «кэширования» промпта в контексте зрения с использованием пакета ultralytics. Задав классы один раз в модели YOLO-World, ты вычисляешь и сохраняешь (персистируешь) текстовые эмбеддинги, что позволяет модели эффективно выполнять предсказания на нескольких изображениях без повторной обработки текстового описания.

from ultralytics import YOLOWorld

# Load a YOLO-World model capable of open-vocabulary detection
model = YOLOWorld("yolov8s-world.pt")

# "Cache" the prompt: Define classes once.
# The model computes and stores text embeddings for these specific terms.
model.set_classes(["helmet", "reflective vest", "gloves"])

# Run inference repeatedly. The text prompt is not re-computed for each call.
# This mimics the efficiency gains of prompt caching in LLMs.
results_1 = model.predict("construction_site_1.jpg")
results_2 = model.predict("construction_site_2.jpg")

Для управления наборами данных и развертывания этих оптимизированных моделей Ultralytics Platform предоставляет комплексную среду для разметки данных, обучения передовых моделей, таких как YOLO26, и мониторинга производительности развертывания на различных устройствах Edge AI.