YOLO'yu lisansla
Ultralytics Sözlüğüne dön

KV Cache

KV önbelleği, bir dönüştürücünün bunları yeniden hesaplamaması için önceki belirteçlerin anahtarlarını ve değerlerini saklayarak LLM üretimini hızlandırır. Nasıl çalıştığı ve bellek maliyeti.

KV önbelleği (key-value cache), bir Transformer'ın dikkat katmanlarının önceki belirteçler için önceden hesapladığı anahtar ve değer vektörlerini saklar; böylece model sonraki belirteci üretirken bunları yeniden hesaplamaz. Büyük dil modelleri (LLM'ler) metin üretirken her seferinde bir belirteç üretir ve her yeni belirteç kendisinden önceki tüm belirteklere dikkat etmelidir. KV önbelleğiyle her üretim adımında yalnızca en yeni belirtecin anahtarları ve değerleri hesaplanır, geri kalanı bellekten okunur; bu da uzun yanıtları pratik hâle getirir. Bunun bedeli bellektir: Önbellek her belirteçle büyür ve uzun bağlam veya yüksek toplu istek sunumu sırasında çoğu zaman model ağırlıklarından daha fazla GPU belleği kullanır.

KV Önbelleği Nasıl Çalışır#

Her dikkat katmanında her belirteç bir sorgu, bir anahtar ve bir değere dönüştürülür. Bir belirtecin sorgusu, görebildiği tüm belirteçlerin anahtarlarıyla karşılaştırılır ve elde edilen ağırlıklar bu belirteçlerin değerlerini birleştirerek çıktıyı oluşturur. Yalnızca kod çözücü kullanan bir LLM'de belirteç yalnızca kendisini ve önceki belirteçleri görebilir; bu nedenle geçmiş belirteçlerin anahtarları ve değerleri hesaplandıktan sonra değişmez. Dolayısıyla üretim iki aşamada gerçekleşir. Ön doldurma aşamasında model tüm istemi paralel olarak işler ve önbelleği doldurur. Kod çözme aşamasında ise bir bitiş belirteci üretinceye veya uzunluk sınırına ulaşıncaya kadar her adımda bir belirteç üretir ve o belirtecin anahtarını ve değerini önbelleğe ekler:

Ön doldurma, aynı anda birçok belirteç üzerinde büyük matris çarpımları yaptığı için hesaplama kapasitesiyle sınırlıdır. Kod çözme ise tek bir belirteç üretmek için her adımda tüm önbelleği ve model ağırlıklarını okuduğundan bellek bant genişliğiyle sınırlıdır.

Üretimi Neden Hızlandırır?#

Önbellek olmadan t adımı, o ana kadar üretilmiş tüm t belirteçlerin anahtarlarını ve değerlerini yeniden hesaplar; bu nedenle toplam iş çıktı uzunluğunun karesiyle büyür. Önbellekle her adımda her katman için bir anahtar ve bir değer eklenir. Aşağıdaki tek başlıklı örnek, önbellekle 10 belirteçlik bir diziyi çözer ve son çıktıyı baştan sona yeniden hesaplamayla karşılaştırır:

import torch

torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5  # one attention head's projections
tokens = torch.randn(10, d)  # embeddings of a 10-token sequence

# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
    k_cache = torch.cat([k_cache, (x @ w_k)[None]])
    v_cache = torch.cat([v_cache, (x @ w_v)[None]])
    out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache

# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full

print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")

Same output: True ve cached 10, recomputed 55 çıktısını yazdırır: Önbellek, her belirteci yalnızca bir kez yansıtarak aynı sonucu verir; her adımın baştan başlaması durumunda ise 1 + 2 + ... + 10 yansıtma gerekir.

  • İstem önbelleğe alma: Uzun bir sistem istemi veya belge gibi paylaşılan bir istem önekinin KV önbelleğini saklar ve ayrı isteklerde yeniden kullanır; böylece sonraki istekler ön doldurmanın bu bölümünü atlar.
  • Model ağırlıkları: Eğitim sırasında öğrenilen ve tüm istekler tarafından paylaşılan sabit parametrelerdir. KV önbelleği tek bir diziye aittir ve dizi sona erdiğinde silinir.
  • Gömüler: Her belirteç modele girerken onu temsil eden vektörlerdir. Her katman, belirtecin gizli durumundan kendi anahtarlarını ve değerlerini türetir; bu nedenle önbellek, her katmanda her belirteç için bir anahtar ve bir değer tutar.
  • Anlamsal önbelleğe alma: Yanıtların tamamını saklar ve benzer sonraki sorgularda geri döndürerek modeli tümüyle devre dışı bırakır.

Görsel Modellerde KV Önbelleği#

Görsel dil modelleri (VLM'ler), bir görüntüyü yüzlerce veya binlerce görsel belirtece dönüştürür ve bu belirteçler metin gibi KV önbelleğine girer; bu nedenle tek bir yüksek çözünürlüklü görüntü, birkaç sayfa metin kadar önbellek alanı kaplayabilir. Video akış modelleri de her kareyle aynı büyümeyle karşılaşır. Ultralytics Python paketi içinde çalışan Meta'nın SAM 2 modeli, video segmentasyonu için benzer bir önbellek uygular: bellek bankası önceki karelerin kodlanmış özelliklerini saklar ve bellek dikkati her yeni kare segmentlere ayrılırken bu özellikleri okur; böylece geçmiş kareleri yeniden işlemeden örtülmeler boyunca nesneleri izlemeyi sürdürür.

Bellek Maliyeti ve Azaltma Yöntemleri#

Önbellek, her katman ve anahtar-değer başlığı için her belirteç başına iki vektör, bir anahtar ve bir değer tutar; boyutu 2 × katman sayısı × KV başlığı sayısı × başlık boyutu × değer başına bayt × belirteç sayısı formülüyle hesaplanır. 32 katmanlı, 32 başlıklı ve 128 başlık boyutlu Llama 2 7B'de FP16 kullanıldığında bu, belirteç başına 512 KiB, 4.096 belirteçlik bir dizi içinse 2 GiB demektir. Sunum sistemleri, belleğe daha fazla dizi sığdırmak için çeşitli tekniklerden yararlanır:

  • Gruplu sorgu dikkati (GQA): Birden fazla sorgu başlığı tek bir anahtar-değer başlığını paylaşır. Llama 3 8B, 32 sorgu başlığı için 8 KV başlığı kullanarak önbelleği belirteç başına 128 KiB'ye düşürür.
  • PagedAttention: Önbelleği sanal bellek sayfalarına benzer sabit boyutlu bloklarda saklar; böylece diziler büyüdükçe bellek ayrılır. vLLM sunum altyapısıyla kullanıma sunulan bu yöntem, önceki sistemlere kıyasla iş hacmini 2–4 kat artırdı.
  • KV önbelleği niceleme: Anahtarları ve değerleri FP16 yerine FP8 veya INT8 biçiminde saklayarak önbelleği yarı boyuta indirir.
  • Kayan pencere dikkati: Her katman yalnızca en yeni belirteklere dikkat eder ve böylece önbellek pencere boyutuyla sınırlanır.
  • Çok başlıklı gizil dikkat (MLA): Önbelleğe almadan önce anahtarları ve değerleri küçük, paylaşılan bir gizil vektöre sıkıştırır. DeepSeek-V2'de KV önbelleğini, önceki DeepSeek 67B modeline kıyasla %93,3 azalttı.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla