Лицензия YOLO
Назад к глоссарию Ultralytics

KV Cache

KV-кэш хранит ключи и значения предыдущих токенов, чтобы Transformer не вычислял их повторно, ускоряя генерацию LLM. Как он работает и сколько памяти занимает.

KV-кэш (кэш ключей и значений) хранит векторы ключей и значений, которые слои внимания трансформера уже вычислили для предыдущих токенов, поэтому при генерации следующего токена их не нужно вычислять повторно. Большие языковые модели (LLM) генерируют текст по одному токену за раз, и каждый новый токен должен учитывать все предшествующие. Благодаря KV-кэшу на каждом шаге генерации ключи и значения вычисляются только для нового токена, а остальные считываются из памяти, что делает возможными длинные ответы. Цена такого подхода — расход памяти: кэш растёт с каждым токеном и при длинном контексте или обслуживании запросов с большим размером пакета часто занимает больше памяти GPU, чем веса модели.

Как работает KV-кэш#

В каждом слое внимания каждый токен преобразуется в запрос, ключ и значение. Запрос токена сравнивается с ключами всех доступных ему токенов, а полученные веса объединяют их значения в выходной результат. В LLM только с декодером токен может учитывать себя и предыдущие токены, поэтому ключи и значения прошлых токенов не меняются после вычисления. Поэтому генерация проходит в два этапа. На этапе предварительной обработки (prefill) модель параллельно обрабатывает весь запрос и заполняет кэш. На этапе декодирования она генерирует по одному токену за шаг, добавляя ключ и значение этого токена в кэш, пока не выдаст токен конца последовательности или не достигнет ограничения длины:

Этап предварительной обработки ограничен вычислительными ресурсами, поскольку за раз выполняет большие матричные умножения над множеством токенов. Декодирование ограничено пропускной способностью памяти: на каждом шаге считывается весь кэш и все веса модели, чтобы получить один токен.

Почему генерация ускоряется#

Без кэша на шаге t пришлось бы повторно вычислять ключи и значения для всех t токенов, сгенерированных к этому моменту, поэтому общий объём вычислений рос бы квадратично с длиной вывода. С кэшем на каждом шаге для каждого слоя добавляются один ключ и одно значение. В примере ниже декодируется последовательность из 10 токенов с кэшем, а итоговый результат сравнивается с полным пересчётом:

import torch

torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5  # one attention head's projections
tokens = torch.randn(10, d)  # embeddings of a 10-token sequence

# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
    k_cache = torch.cat([k_cache, (x @ w_k)[None]])
    v_cache = torch.cat([v_cache, (x @ w_v)[None]])
    out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache

# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full

print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")

Вывод содержит Same output: True и cached 10, recomputed 55: с кэшем получается идентичный результат, при этом каждый токен проецируется один раз, вместо 1 + 2 + ... + 10 проекций, если бы на каждом шаге вычисления начинались заново.

  • Кэширование запросов: сохраняет KV-кэш общей части префикса запроса, например длинного системного запроса или документа, и использует его повторно для отдельных запросов, позволяя последующим запросам пропустить эту часть предварительной обработки.
  • Веса модели: фиксированные параметры, полученные при обучении и общие для всех запросов. KV-кэш относится к одной последовательности и удаляется после её завершения.
  • Эмбеддинги: векторы, представляющие каждый токен на входе модели. Каждый слой получает собственные ключи и значения из скрытого состояния токена, поэтому кэш хранит по одному ключу и одному значению на токен для каждого слоя.
  • Семантическое кэширование: сохраняет ответы целиком и возвращает их для похожих последующих запросов, полностью пропуская модель.

KV-кэш в моделях для работы с изображениями#

Модели компьютерного зрения и языка (VLMs) преобразуют изображение в сотни или тысячи визуальных токенов, которые попадают в KV-кэш так же, как текст. Поэтому одно изображение высокого разрешения может занимать столько же места в кэше, сколько несколько страниц текста. Модели потоковой обработки видео сталкиваются с таким же ростом кэша с каждым кадром. Модель Meta SAM 2, работающая в пакете Ultralytics для Python, применяет похожий кэш для сегментации видео: её банк памяти хранит закодированные признаки предыдущих кадров, а механизм внимания к памяти считывает их при сегментации каждого нового кадра, продолжая отслеживать объекты при их перекрытии без повторной обработки прошлых кадров.

Объём памяти и способы его сократить#

Для каждого токена каждого слоя и каждой головы ключей и значений кэш хранит два вектора — ключ и значение. Поэтому его размер равен 2 × число слоёв × число голов KV × размерность головы × число байтов на значение × число токенов. Для Llama 2 7B в формате FP16 с 32 слоями, 32 головами и размерностью головы 128 это составляет 512 КиБ на токен, или 2 ГиБ для одной последовательности длиной 4096 токенов. Системы обслуживания моделей используют несколько методов, чтобы разместить в памяти больше последовательностей:

  • Внимание с группировкой запросов (GQA): несколько голов запросов используют одну голову ключей и значений. В Llama 3 8B используется 8 голов KV для 32 голов запросов, что сокращает размер кэша до 128 КиБ на токен.
  • PagedAttention: хранит кэш в блоках фиксированного размера, подобно страницам виртуальной памяти, выделяя память по мере роста последовательностей. Этот метод, представленный вместе с движком обслуживания vLLM, повысил пропускную способность в 2–4 раза по сравнению с более ранними системами.
  • Квантование KV-кэша: хранит ключи и значения в FP8 или INT8 вместо FP16, сокращая объём кэша вдвое.
  • Внимание со скользящим окном: каждый слой учитывает только самые последние токены, что ограничивает размер кэша размером окна.
  • Многоголовое латентное внимание (MLA): сжимает ключи и значения в небольшой общий латентный вектор перед сохранением в кэше. В DeepSeek-V2 это сократило размер KV-кэша на 93,3% по сравнению с предыдущей моделью DeepSeek 67B.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения