YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

KV Cache

KV 캐시는 과거 토큰의 키와 값을 저장하여 트랜스포머가 이를 다시 계산하지 않도록 하고 LLM 생성 속도를 높입니다. 작동 방식과 메모리 비용을 다룹니다.

KV 캐시(key-value cache)는 트랜스포머의 어텐션 레이어가 이전 토큰에 대해 이미 계산한 키와 값 벡터를 저장하므로, 모델이 다음 토큰을 생성할 때 다시 계산하지 않아도 됩니다. 대규모 언어 모델(LLM)은 한 번에 하나의 토큰씩 텍스트를 생성하며, 새 토큰마다 그 앞에 있는 모든 토큰에 어텐션을 적용해야 합니다. KV 캐시를 사용하면 생성 단계마다 최신 토큰의 키와 값만 계산하고 나머지는 메모리에서 읽으므로 긴 응답을 실용적으로 생성할 수 있습니다. 다만 메모리가 필요합니다. 토큰이 추가될 때마다 캐시가 커지며, 긴 컨텍스트 또는 대규모 배치 서빙에서는 캐시가 모델 가중치보다 더 많은 GPU 메모리를 차지하는 경우가 많습니다.

KV 캐시 작동 방식#

각 어텐션 레이어에서 모든 토큰은 쿼리, 키, 값으로 투영됩니다. 토큰의 쿼리는 해당 토큰이 참조할 수 있는 모든 토큰의 키와 비교되고, 그 결과로 계산된 가중치가 해당 토큰의 값을 결합해 출력을 만듭니다. 디코더 전용 LLM에서는 토큰이 자기 자신과 이전 토큰만 볼 수 있으므로, 과거 토큰의 키와 값은 한 번 계산된 뒤 바뀌지 않습니다. 따라서 생성은 두 단계로 진행됩니다. 프리필 단계에서는 모델이 프롬프트 전체를 병렬로 처리해 캐시를 채웁니다. 디코드 단계에서는 종료 토큰을 출력하거나 길이 제한에 도달할 때까지 한 단계마다 토큰 하나를 생성하고 해당 토큰의 키와 값을 캐시에 추가합니다.

프리필은 여러 토큰에 대해 대규모 행렬 곱셈을 한 번에 수행하므로 연산량에 의해 제한됩니다. 디코드는 토큰 하나를 생성하기 위해 매 단계마다 전체 캐시와 모든 모델 가중치를 읽으므로 메모리 대역폭에 의해 제한됩니다.

생성 속도가 빨라지는 이유#

캐시가 없으면 t 단계에서 지금까지 생성된 t 토큰 전체의 키와 값을 다시 계산하므로, 총 작업량은 출력 길이에 따라 제곱으로 증가합니다. 캐시를 사용하면 단계마다 레이어별로 키 하나와 값 하나만 추가하면 됩니다. 아래 단일 헤드 예제는 캐시를 사용해 10개 토큰 시퀀스를 디코딩하고 전체 재계산 결과와 최종 출력을 비교합니다.

import torch

torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5  # one attention head's projections
tokens = torch.randn(10, d)  # embeddings of a 10-token sequence

# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
    k_cache = torch.cat([k_cache, (x @ w_k)[None]])
    v_cache = torch.cat([v_cache, (x @ w_v)[None]])
    out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache

# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full

print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")

Same output: True과 cached 10, recomputed 55을 출력합니다. 캐시를 사용하면 토큰마다 한 번씩만 투영해도 동일한 결과를 얻지만, 매 단계 처음부터 다시 계산하면 투영 횟수는 1 + 2 + ... + 10이 됩니다.

  • 프롬프트 캐싱: 긴 시스템 프롬프트나 문서처럼 공유되는 프롬프트 접두부의 KV 캐시를 유지하고 별도의 요청에서 재사용하므로, 이후 요청에서는 해당 부분의 프리필을 건너뜁니다.
  • 모델 가중치: 학습 과정에서 학습된 고정 파라미터로, 모든 요청에서 공유됩니다. KV 캐시는 하나의 시퀀스에만 속하며 해당 시퀀스가 끝나면 폐기됩니다.
  • 임베딩: 각 토큰이 모델에 입력될 때 해당 토큰을 표현하는 벡터입니다. 각 레이어는 토큰의 은닉 상태에서 자체 키와 값을 도출하므로, 캐시에는 레이어마다 토큰별 키 하나와 값 하나가 저장됩니다.
  • 시맨틱 캐싱: 전체 응답을 저장하고 이후 유사한 쿼리에 해당 응답을 반환하여 모델 실행을 완전히 건너뜁니다.

비전 모델의 KV 캐시#

비전 언어 모델(VLM)은 이미지를 수백 또는 수천 개의 시각 토큰으로 변환하며, 이 토큰은 텍스트 토큰처럼 KV 캐시에 들어가므로 고해상도 이미지 하나가 텍스트 몇 페이지 분량의 캐시를 차지할 수 있습니다. 스트리밍 비디오 모델도 프레임이 늘어날 때마다 같은 문제를 겪습니다. Ultralytics Python 패키지에서 실행되는 Meta의 SAM 2는 비디오 세그멘테이션에 유사한 캐시를 적용합니다. 메모리 뱅크는 이전 프레임의 인코딩된 특징을 저장하고, 메모리 어텐션은 새 프레임을 세그멘테이션할 때 이를 읽어 과거 프레임을 다시 처리하지 않고도 가려진 상황에서 객체 추적을 유지합니다.

메모리 사용량과 이를 줄이는 방법#

캐시에는 모든 레이어와 키-값 헤드의 토큰마다 키 벡터와 값 벡터, 두 개의 벡터가 저장됩니다. 따라서 크기는 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 값당 바이트 수 × 토큰 수입니다. 32개 레이어, 32개 헤드, 헤드 차원 128인 Llama 2 7B의 FP16에서는 토큰당 512 KiB이며, 4,096개 토큰 시퀀스 하나에 2 GiB가 필요합니다. 서빙 시스템은 메모리에 더 많은 시퀀스를 수용하기 위해 몇 가지 기법을 사용합니다.

  • 그룹드 쿼리 어텐션(GQA): 여러 쿼리 헤드가 키-값 헤드 하나를 공유합니다. Llama 3 8B는 쿼리 헤드 32개에 KV 헤드 8개를 사용해 캐시를 토큰당 128 KiB로 줄입니다.
  • PagedAttention: 가상 메모리 페이지처럼 캐시를 고정 크기 블록으로 저장하므로 시퀀스가 늘어날 때 메모리를 할당할 수 있습니다. vLLM 서빙 엔진과 함께 소개되었으며, 이전 시스템보다 처리량을 2~4배 높였습니다.
  • KV 캐시 양자화: FP16 대신 FP8 또는 INT8로 키와 값을 저장해 캐시 크기를 절반으로 줄입니다.
  • 슬라이딩 윈도 어텐션: 각 레이어가 가장 최근 토큰에만 어텐션을 적용하므로 캐시 크기가 윈도 크기로 제한됩니다.
  • 멀티헤드 잠재 어텐션(MLA): 키와 값을 캐시에 저장하기 전에 작고 공유된 잠재 벡터로 압축합니다. DeepSeek-V2에서는 이전 DeepSeek 67B 모델과 비교해 KV 캐시를 93.3% 줄였습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요