KV Cache
KV-кэш хранит ключи и значения предыдущих токенов, чтобы Transformer не вычислял их повторно, ускоряя генерацию LLM. Как он работает и сколько памяти занимает.
KV-кэш (кэш ключей и значений) хранит векторы ключей и значений, которые слои внимания трансформера уже вычислили для предыдущих токенов, поэтому при генерации следующего токена их не нужно вычислять повторно. Большие языковые модели (LLM) генерируют текст по одному токену за раз, и каждый новый токен должен учитывать все предшествующие. Благодаря KV-кэшу на каждом шаге генерации ключи и значения вычисляются только для нового токена, а остальные считываются из памяти, что делает возможными длинные ответы. Цена такого подхода — расход памяти: кэш растёт с каждым токеном и при длинном контексте или обслуживании запросов с большим размером пакета часто занимает больше памяти GPU, чем веса модели.
Как работает KV-кэш#
В каждом слое внимания каждый токен преобразуется в запрос, ключ и значение. Запрос токена сравнивается с ключами всех доступных ему токенов, а полученные веса объединяют их значения в выходной результат. В LLM только с декодером токен может учитывать себя и предыдущие токены, поэтому ключи и значения прошлых токенов не меняются после вычисления. Поэтому генерация проходит в два этапа. На этапе предварительной обработки (prefill) модель параллельно обрабатывает весь запрос и заполняет кэш. На этапе декодирования она генерирует по одному токену за шаг, добавляя ключ и значение этого токена в кэш, пока не выдаст токен конца последовательности или не достигнет ограничения длины:
Этап предварительной обработки ограничен вычислительными ресурсами, поскольку за раз выполняет большие матричные умножения над множеством токенов. Декодирование ограничено пропускной способностью памяти: на каждом шаге считывается весь кэш и все веса модели, чтобы получить один токен.
Почему генерация ускоряется#
Без кэша на шаге t пришлось бы повторно вычислять ключи и значения для всех t токенов, сгенерированных к этому моменту, поэтому общий объём вычислений рос бы квадратично с длиной вывода. С кэшем на каждом шаге для каждого слоя добавляются один ключ и одно значение. В примере ниже декодируется последовательность из 10 токенов с кэшем, а итоговый результат сравнивается с полным пересчётом:
import torch
torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5 # one attention head's projections
tokens = torch.randn(10, d) # embeddings of a 10-token sequence
# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
k_cache = torch.cat([k_cache, (x @ w_k)[None]])
v_cache = torch.cat([v_cache, (x @ w_v)[None]])
out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache
# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full
print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")Вывод содержит Same output: True и cached 10, recomputed 55: с кэшем получается идентичный результат, при этом каждый токен проецируется один раз, вместо 1 + 2 + ... + 10 проекций, если бы на каждом шаге вычисления начинались заново.
KV-кэш и смежные понятия#
- Кэширование запросов: сохраняет KV-кэш общей части префикса запроса, например длинного системного запроса или документа, и использует его повторно для отдельных запросов, позволяя последующим запросам пропустить эту часть предварительной обработки.
- Веса модели: фиксированные параметры, полученные при обучении и общие для всех запросов. KV-кэш относится к одной последовательности и удаляется после её завершения.
- Эмбеддинги: векторы, представляющие каждый токен на входе модели. Каждый слой получает собственные ключи и значения из скрытого состояния токена, поэтому кэш хранит по одному ключу и одному значению на токен для каждого слоя.
- Семантическое кэширование: сохраняет ответы целиком и возвращает их для похожих последующих запросов, полностью пропуская модель.
KV-кэш в моделях для работы с изображениями#
Модели компьютерного зрения и языка (VLMs) преобразуют изображение в сотни или тысячи визуальных токенов, которые попадают в KV-кэш так же, как текст. Поэтому одно изображение высокого разрешения может занимать столько же места в кэше, сколько несколько страниц текста. Модели потоковой обработки видео сталкиваются с таким же ростом кэша с каждым кадром. Модель Meta SAM 2, работающая в пакете Ultralytics для Python, применяет похожий кэш для сегментации видео: её банк памяти хранит закодированные признаки предыдущих кадров, а механизм внимания к памяти считывает их при сегментации каждого нового кадра, продолжая отслеживать объекты при их перекрытии без повторной обработки прошлых кадров.
Объём памяти и способы его сократить#
Для каждого токена каждого слоя и каждой головы ключей и значений кэш хранит два вектора — ключ и значение. Поэтому его размер равен 2 × число слоёв × число голов KV × размерность головы × число байтов на значение × число токенов. Для Llama 2 7B в формате FP16 с 32 слоями, 32 головами и размерностью головы 128 это составляет 512 КиБ на токен, или 2 ГиБ для одной последовательности длиной 4096 токенов. Системы обслуживания моделей используют несколько методов, чтобы разместить в памяти больше последовательностей:
- Внимание с группировкой запросов (GQA): несколько голов запросов используют одну голову ключей и значений. В Llama 3 8B используется 8 голов KV для 32 голов запросов, что сокращает размер кэша до 128 КиБ на токен.
- PagedAttention: хранит кэш в блоках фиксированного размера, подобно страницам виртуальной памяти, выделяя память по мере роста последовательностей. Этот метод, представленный вместе с движком обслуживания vLLM, повысил пропускную способность в 2–4 раза по сравнению с более ранними системами.
- Квантование KV-кэша: хранит ключи и значения в FP8 или INT8 вместо FP16, сокращая объём кэша вдвое.
- Внимание со скользящим окном: каждый слой учитывает только самые последние токены, что ограничивает размер кэша размером окна.
- Многоголовое латентное внимание (MLA): сжимает ключи и значения в небольшой общий латентный вектор перед сохранением в кэше. В DeepSeek-V2 это сократило размер KV-кэша на 93,3% по сравнению с предыдущей моделью DeepSeek 67B.










