KV Cache
KV 캐시는 과거 토큰의 키와 값을 저장하여 트랜스포머가 이를 다시 계산하지 않도록 하고 LLM 생성 속도를 높입니다. 작동 방식과 메모리 비용을 다룹니다.
KV 캐시(key-value cache)는 트랜스포머의 어텐션 레이어가 이전 토큰에 대해 이미 계산한 키와 값 벡터를 저장하므로, 모델이 다음 토큰을 생성할 때 다시 계산하지 않아도 됩니다. 대규모 언어 모델(LLM)은 한 번에 하나의 토큰씩 텍스트를 생성하며, 새 토큰마다 그 앞에 있는 모든 토큰에 어텐션을 적용해야 합니다. KV 캐시를 사용하면 생성 단계마다 최신 토큰의 키와 값만 계산하고 나머지는 메모리에서 읽으므로 긴 응답을 실용적으로 생성할 수 있습니다. 다만 메모리가 필요합니다. 토큰이 추가될 때마다 캐시가 커지며, 긴 컨텍스트 또는 대규모 배치 서빙에서는 캐시가 모델 가중치보다 더 많은 GPU 메모리를 차지하는 경우가 많습니다.
KV 캐시 작동 방식#
각 어텐션 레이어에서 모든 토큰은 쿼리, 키, 값으로 투영됩니다. 토큰의 쿼리는 해당 토큰이 참조할 수 있는 모든 토큰의 키와 비교되고, 그 결과로 계산된 가중치가 해당 토큰의 값을 결합해 출력을 만듭니다. 디코더 전용 LLM에서는 토큰이 자기 자신과 이전 토큰만 볼 수 있으므로, 과거 토큰의 키와 값은 한 번 계산된 뒤 바뀌지 않습니다. 따라서 생성은 두 단계로 진행됩니다. 프리필 단계에서는 모델이 프롬프트 전체를 병렬로 처리해 캐시를 채웁니다. 디코드 단계에서는 종료 토큰을 출력하거나 길이 제한에 도달할 때까지 한 단계마다 토큰 하나를 생성하고 해당 토큰의 키와 값을 캐시에 추가합니다.
프리필은 여러 토큰에 대해 대규모 행렬 곱셈을 한 번에 수행하므로 연산량에 의해 제한됩니다. 디코드는 토큰 하나를 생성하기 위해 매 단계마다 전체 캐시와 모든 모델 가중치를 읽으므로 메모리 대역폭에 의해 제한됩니다.
생성 속도가 빨라지는 이유#
캐시가 없으면 t 단계에서 지금까지 생성된 t 토큰 전체의 키와 값을 다시 계산하므로, 총 작업량은 출력 길이에 따라 제곱으로 증가합니다. 캐시를 사용하면 단계마다 레이어별로 키 하나와 값 하나만 추가하면 됩니다. 아래 단일 헤드 예제는 캐시를 사용해 10개 토큰 시퀀스를 디코딩하고 전체 재계산 결과와 최종 출력을 비교합니다.
import torch
torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5 # one attention head's projections
tokens = torch.randn(10, d) # embeddings of a 10-token sequence
# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
k_cache = torch.cat([k_cache, (x @ w_k)[None]])
v_cache = torch.cat([v_cache, (x @ w_v)[None]])
out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache
# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full
print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")Same output: True과 cached 10, recomputed 55을 출력합니다. 캐시를 사용하면 토큰마다 한 번씩만 투영해도 동일한 결과를 얻지만, 매 단계 처음부터 다시 계산하면 투영 횟수는 1 + 2 + ... + 10이 됩니다.
KV 캐시와 관련 개념 비교#
- 프롬프트 캐싱: 긴 시스템 프롬프트나 문서처럼 공유되는 프롬프트 접두부의 KV 캐시를 유지하고 별도의 요청에서 재사용하므로, 이후 요청에서는 해당 부분의 프리필을 건너뜁니다.
- 모델 가중치: 학습 과정에서 학습된 고정 파라미터로, 모든 요청에서 공유됩니다. KV 캐시는 하나의 시퀀스에만 속하며 해당 시퀀스가 끝나면 폐기됩니다.
- 임베딩: 각 토큰이 모델에 입력될 때 해당 토큰을 표현하는 벡터입니다. 각 레이어는 토큰의 은닉 상태에서 자체 키와 값을 도출하므로, 캐시에는 레이어마다 토큰별 키 하나와 값 하나가 저장됩니다.
- 시맨틱 캐싱: 전체 응답을 저장하고 이후 유사한 쿼리에 해당 응답을 반환하여 모델 실행을 완전히 건너뜁니다.
비전 모델의 KV 캐시#
비전 언어 모델(VLM)은 이미지를 수백 또는 수천 개의 시각 토큰으로 변환하며, 이 토큰은 텍스트 토큰처럼 KV 캐시에 들어가므로 고해상도 이미지 하나가 텍스트 몇 페이지 분량의 캐시를 차지할 수 있습니다. 스트리밍 비디오 모델도 프레임이 늘어날 때마다 같은 문제를 겪습니다. Ultralytics Python 패키지에서 실행되는 Meta의 SAM 2는 비디오 세그멘테이션에 유사한 캐시를 적용합니다. 메모리 뱅크는 이전 프레임의 인코딩된 특징을 저장하고, 메모리 어텐션은 새 프레임을 세그멘테이션할 때 이를 읽어 과거 프레임을 다시 처리하지 않고도 가려진 상황에서 객체 추적을 유지합니다.
메모리 사용량과 이를 줄이는 방법#
캐시에는 모든 레이어와 키-값 헤드의 토큰마다 키 벡터와 값 벡터, 두 개의 벡터가 저장됩니다. 따라서 크기는 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 값당 바이트 수 × 토큰 수입니다. 32개 레이어, 32개 헤드, 헤드 차원 128인 Llama 2 7B의 FP16에서는 토큰당 512 KiB이며, 4,096개 토큰 시퀀스 하나에 2 GiB가 필요합니다. 서빙 시스템은 메모리에 더 많은 시퀀스를 수용하기 위해 몇 가지 기법을 사용합니다.
- 그룹드 쿼리 어텐션(GQA): 여러 쿼리 헤드가 키-값 헤드 하나를 공유합니다. Llama 3 8B는 쿼리 헤드 32개에 KV 헤드 8개를 사용해 캐시를 토큰당 128 KiB로 줄입니다.
- PagedAttention: 가상 메모리 페이지처럼 캐시를 고정 크기 블록으로 저장하므로 시퀀스가 늘어날 때 메모리를 할당할 수 있습니다. vLLM 서빙 엔진과 함께 소개되었으며, 이전 시스템보다 처리량을 2~4배 높였습니다.
- KV 캐시 양자화: FP16 대신 FP8 또는 INT8로 키와 값을 저장해 캐시 크기를 절반으로 줄입니다.
- 슬라이딩 윈도 어텐션: 각 레이어가 가장 최근 토큰에만 어텐션을 적용하므로 캐시 크기가 윈도 크기로 제한됩니다.
- 멀티헤드 잠재 어텐션(MLA): 키와 값을 캐시에 저장하기 전에 작고 공유된 잠재 벡터로 압축합니다. DeepSeek-V2에서는 이전 DeepSeek 67B 모델과 비교해 KV 캐시를 93.3% 줄였습니다.










