KV Cache
KV önbelleği, bir dönüştürücünün bunları yeniden hesaplamaması için önceki belirteçlerin anahtarlarını ve değerlerini saklayarak LLM üretimini hızlandırır. Nasıl çalıştığı ve bellek maliyeti.
KV önbelleği (key-value cache), bir Transformer'ın dikkat katmanlarının önceki belirteçler için önceden hesapladığı anahtar ve değer vektörlerini saklar; böylece model sonraki belirteci üretirken bunları yeniden hesaplamaz. Büyük dil modelleri (LLM'ler) metin üretirken her seferinde bir belirteç üretir ve her yeni belirteç kendisinden önceki tüm belirteklere dikkat etmelidir. KV önbelleğiyle her üretim adımında yalnızca en yeni belirtecin anahtarları ve değerleri hesaplanır, geri kalanı bellekten okunur; bu da uzun yanıtları pratik hâle getirir. Bunun bedeli bellektir: Önbellek her belirteçle büyür ve uzun bağlam veya yüksek toplu istek sunumu sırasında çoğu zaman model ağırlıklarından daha fazla GPU belleği kullanır.
KV Önbelleği Nasıl Çalışır#
Her dikkat katmanında her belirteç bir sorgu, bir anahtar ve bir değere dönüştürülür. Bir belirtecin sorgusu, görebildiği tüm belirteçlerin anahtarlarıyla karşılaştırılır ve elde edilen ağırlıklar bu belirteçlerin değerlerini birleştirerek çıktıyı oluşturur. Yalnızca kod çözücü kullanan bir LLM'de belirteç yalnızca kendisini ve önceki belirteçleri görebilir; bu nedenle geçmiş belirteçlerin anahtarları ve değerleri hesaplandıktan sonra değişmez. Dolayısıyla üretim iki aşamada gerçekleşir. Ön doldurma aşamasında model tüm istemi paralel olarak işler ve önbelleği doldurur. Kod çözme aşamasında ise bir bitiş belirteci üretinceye veya uzunluk sınırına ulaşıncaya kadar her adımda bir belirteç üretir ve o belirtecin anahtarını ve değerini önbelleğe ekler:
Ön doldurma, aynı anda birçok belirteç üzerinde büyük matris çarpımları yaptığı için hesaplama kapasitesiyle sınırlıdır. Kod çözme ise tek bir belirteç üretmek için her adımda tüm önbelleği ve model ağırlıklarını okuduğundan bellek bant genişliğiyle sınırlıdır.
Üretimi Neden Hızlandırır?#
Önbellek olmadan t adımı, o ana kadar üretilmiş tüm t belirteçlerin anahtarlarını ve değerlerini yeniden hesaplar; bu nedenle toplam iş çıktı uzunluğunun karesiyle büyür. Önbellekle her adımda her katman için bir anahtar ve bir değer eklenir. Aşağıdaki tek başlıklı örnek, önbellekle 10 belirteçlik bir diziyi çözer ve son çıktıyı baştan sona yeniden hesaplamayla karşılaştırır:
import torch
torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5 # one attention head's projections
tokens = torch.randn(10, d) # embeddings of a 10-token sequence
# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
k_cache = torch.cat([k_cache, (x @ w_k)[None]])
v_cache = torch.cat([v_cache, (x @ w_v)[None]])
out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache
# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full
print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")Same output: True ve cached 10, recomputed 55 çıktısını yazdırır: Önbellek, her belirteci yalnızca bir kez yansıtarak aynı sonucu verir; her adımın baştan başlaması durumunda ise 1 + 2 + ... + 10 yansıtma gerekir.
KV Önbelleği ve İlgili Kavramlar#
- İstem önbelleğe alma: Uzun bir sistem istemi veya belge gibi paylaşılan bir istem önekinin KV önbelleğini saklar ve ayrı isteklerde yeniden kullanır; böylece sonraki istekler ön doldurmanın bu bölümünü atlar.
- Model ağırlıkları: Eğitim sırasında öğrenilen ve tüm istekler tarafından paylaşılan sabit parametrelerdir. KV önbelleği tek bir diziye aittir ve dizi sona erdiğinde silinir.
- Gömüler: Her belirteç modele girerken onu temsil eden vektörlerdir. Her katman, belirtecin gizli durumundan kendi anahtarlarını ve değerlerini türetir; bu nedenle önbellek, her katmanda her belirteç için bir anahtar ve bir değer tutar.
- Anlamsal önbelleğe alma: Yanıtların tamamını saklar ve benzer sonraki sorgularda geri döndürerek modeli tümüyle devre dışı bırakır.
Görsel Modellerde KV Önbelleği#
Görsel dil modelleri (VLM'ler), bir görüntüyü yüzlerce veya binlerce görsel belirtece dönüştürür ve bu belirteçler metin gibi KV önbelleğine girer; bu nedenle tek bir yüksek çözünürlüklü görüntü, birkaç sayfa metin kadar önbellek alanı kaplayabilir. Video akış modelleri de her kareyle aynı büyümeyle karşılaşır. Ultralytics Python paketi içinde çalışan Meta'nın SAM 2 modeli, video segmentasyonu için benzer bir önbellek uygular: bellek bankası önceki karelerin kodlanmış özelliklerini saklar ve bellek dikkati her yeni kare segmentlere ayrılırken bu özellikleri okur; böylece geçmiş kareleri yeniden işlemeden örtülmeler boyunca nesneleri izlemeyi sürdürür.
Bellek Maliyeti ve Azaltma Yöntemleri#
Önbellek, her katman ve anahtar-değer başlığı için her belirteç başına iki vektör, bir anahtar ve bir değer tutar; boyutu 2 × katman sayısı × KV başlığı sayısı × başlık boyutu × değer başına bayt × belirteç sayısı formülüyle hesaplanır. 32 katmanlı, 32 başlıklı ve 128 başlık boyutlu Llama 2 7B'de FP16 kullanıldığında bu, belirteç başına 512 KiB, 4.096 belirteçlik bir dizi içinse 2 GiB demektir. Sunum sistemleri, belleğe daha fazla dizi sığdırmak için çeşitli tekniklerden yararlanır:
- Gruplu sorgu dikkati (GQA): Birden fazla sorgu başlığı tek bir anahtar-değer başlığını paylaşır. Llama 3 8B, 32 sorgu başlığı için 8 KV başlığı kullanarak önbelleği belirteç başına 128 KiB'ye düşürür.
- PagedAttention: Önbelleği sanal bellek sayfalarına benzer sabit boyutlu bloklarda saklar; böylece diziler büyüdükçe bellek ayrılır. vLLM sunum altyapısıyla kullanıma sunulan bu yöntem, önceki sistemlere kıyasla iş hacmini 2–4 kat artırdı.
- KV önbelleği niceleme: Anahtarları ve değerleri FP16 yerine FP8 veya INT8 biçiminde saklayarak önbelleği yarı boyuta indirir.
- Kayan pencere dikkati: Her katman yalnızca en yeni belirteklere dikkat eder ve böylece önbellek pencere boyutuyla sınırlanır.
- Çok başlıklı gizil dikkat (MLA): Önbelleğe almadan önce anahtarları ve değerleri küçük, paylaşılan bir gizil vektöre sıkıştırır. DeepSeek-V2'de KV önbelleğini, önceki DeepSeek 67B modeline kıyasla %93,3 azalttı.










