KV Cache

KV-кэш (кэш ключей и значений) — это важный метод оптимизации, применяемый главным образом в больших языковых моделях (LLMs) и других архитектурах на основе Transformer для сокращения задержки инференса и вычислительных затрат. В основе KV-кэша лежит хранение матриц ключей и значений, созданных механизмом внимания для предыдущих токенов последовательности. Сохраняя эти промежуточные вычисления, модель избавляется от необходимости каждый раз заново рассчитывать состояния внимания для всей истории диалога при генерации нового токена. Благодаря этому процесс генерации текста меняет квадратичную сложность на линейную, что делает возможным взаимодействие в реальном времени с чат-ботами и ИИ-агентами.

Механизм и преимущества#

В стандартной модели Transformer для генерации следующего слова нужно учитывать все предыдущие слова, чтобы понять контекст. Без кэширования модели пришлось бы на каждом шаге заново вычислять математические связи для всей последовательности. KV-кэш решает эту проблему, работая как хранилище памяти.

• Ускорение: Получая предварительно вычисленные ключи и значения из памяти, система значительно ускоряет работу движка инференса. Это важно для приложений с низкой задержкой, например для инференса в реальном времени в ботах клиентской поддержки.
• Эффективное использование ресурсов: Хотя KV-кэш увеличивает расход памяти (VRAM), он значительно сокращает вычислительные затраты (FLOPs) на каждый токен. Этот компромисс часто компенсируют такими методами, как квантование модели или разбиение на страницы, подобно тому как операционные системы управляют RAM.
• Расширенный контекст: Эффективное управление KV-кэшем позволяет моделям работать с большим контекстным окном, обрабатывать длинные документы и поддерживать связные диалоги в течение длительного времени.

Примеры применения в реальных условиях#

KV-кэш — фундаментальный компонент развертывания современных генеративных моделей ИИ, однако его принципы применимы и к компьютерному зрению (CV).

1. Генеративные чат-боты: Сервисы вроде ChatGPT и Claude активно используют KV-кэширование. Когда пользователь задает уточняющий вопрос, модель не перечитывает всю историю чата с нуля. Вместо этого она добавляет новый ввод к закэшированным состояниям предыдущего хода, что позволяет отвечать почти мгновенно.

2. Понимание видео: В задачах понимания видео модели обрабатывают кадры последовательно. Подобно текстовым токенам, визуальные признаки из предыдущих кадров можно кэшировать, чтобы модель могла отслеживать объекты или распознавать действия, не обрабатывая повторно всю историю видео. Это особенно важно для распознавания действий, где временной контекст имеет решающее значение.

Эффективное управление памятью#

По мере увеличения моделей размер KV-кэша может стать узким местом, занимая гигабайты памяти GPU. Последние разработки направлены на оптимизацию такого хранения.

• PagedAttention: Вдохновленный виртуальной памятью операционных систем, PagedAttention (представленный vLLM) позволяет хранить KV-кэш в несмежных блоках памяти. Это уменьшает фрагментацию и позволяет увеличить размер пакета при обслуживании моделей.
• Квантование KV-кэша: Чтобы сэкономить место, разработчики часто применяют смешанную точность или квантование int8 непосредственно к кэшированным значениям. Это уменьшает объем используемой памяти и позволяет устройствам периферийного ИИ с ограниченным объемом RAM запускать достаточно мощные модели.
• Кэширование промптов: Этот родственный метод предполагает однократное вычисление состояний KV для статического системного промпта (например, «Ты — полезный помощник по программированию») с последующим повторным использованием в разных пользовательских сессиях. Это ключевая функция для масштабной оптимизации процессов проектирования промптов.

Различия между связанными понятиями#

Полезно отличать KV-кэш от других терминов, связанных с кэшированием и оптимизацией:

• KV-кэш и кэширование промптов: Под KV-кэшем обычно понимают динамическую память, которая обновляется токен за токеном в рамках одного потока генерации. Кэширование промптов означает хранение обработанного состояния фиксированной инструкции для повторного использования в нескольких независимых вызовах инференса.
• KV-кэш и эмбеддинги: Эмбеддинги — это векторные представления входных данных (текста или изображений), передающие их семантический смысл. KV-кэш хранит активации (ключи и значения), полученные из этих эмбеддингов в слоях внимания, специально для генерации последовательностей.
• KV-кэш и веса модели: Веса модели — это статические обученные параметры нейронной сети. KV-кэш состоит из динамических временных данных, создаваемых при прямом проходе для конкретной входной последовательности.

Пример: контекст в моделях компьютерного зрения#

Хотя KV-кэширование наиболее известно в NLP, принцип сохранения состояния применим и к передовым моделям компьютерного зрения. В приведенном ниже примере мы показываем, как передавать состояние (контекст) при отслеживании объектов на видео с помощью Ultralytics YOLO26. Здесь трекер сохраняет идентификаторы объектов между кадрами — это концептуально похоже на сохранение контекста между токенами с помощью кэша.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Track objects in a video, maintaining identity state across frames
# The 'track' mode effectively caches object features to link detections
results = model.track(source="https://ultralytics.com/images/bus.jpg", show=False)

# Print the ID of the tracked objects
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.numpy()}")

Разработчики, которым нужно управлять наборами данных и развертывать оптимизированные модели, могут использовать Ultralytics Platform, упрощающую весь конвейер — от разметки данных до эффективного развертывания модели. Тем, кто хочет глубже разобраться в механизмах внимания, пригодятся такие библиотеки, как PyTorch: в них реализованы базовые компоненты этих механизмов кэширования.