KV Cache

KV Cache (Key-Value Cache), temel olarak Büyük Dil Modelleri (LLM'ler) ve diğer Transformer tabanlı mimarilerde çıkarım gecikmesini hızlandırmak ve hesaplama maliyetlerini düşürmek için kullanılan kritik bir optimizasyon tekniğidir. Özünde KV cache, bir dizideki önceki token'lar için dikkat mekanizması tarafından oluşturulan Anahtar (Key) ve Değer (Value) matrislerini saklar. Bu ara hesaplamaları kaydederek model, her yeni token ürettiğinde tüm konuşma geçmişi için dikkat durumlarını yeniden hesaplamaktan kaçınır. Bu süreç, metin oluşturma iş akışını kuadratik karmaşıklıktan doğrusal bir işleme dönüştürerek chatbot'lar ve yapay zeka ajanları ile gerçek zamanlı etkileşimleri mümkün kılar.

Link to this sectionMekanizma ve Avantajlar#

Standart bir Transformer modelinde, bir sonraki kelimeyi üretmek, bağlamı anlamak için önceki tüm kelimelere dikkat etmeyi gerektirir. Önbellekleme olmadan modelin, her adımda tüm dizi için matematiksel ilişkileri yeniden hesaplaması gerekirdi. KV cache, bir hafıza bankası gibi davranarak bu sorunu çözer.

• Hız İyileştirmesi: Önceden hesaplanmış anahtarları ve değerleri bellekten alarak sistem, çıkarım motorunu büyük ölçüde hızlandırır. Bu, müşteri hizmetleri botlarındaki gerçek zamanlı çıkarım gibi düşük gecikme süresi gerektiren uygulamalar için temel bir gerekliliktir.
• Kaynak Verimliliği: Bellek kullanımını (VRAM) artırsa da, token başına gereken hesaplama (FLOPs) yükünü önemli ölçüde azaltır. Bu ödünleşim, genellikle işletim sistemlerinin RAM'i yönetmesine benzer şekilde model niceleme veya sayfalama gibi tekniklerle yönetilir.
• Genişletilmiş Bağlam: KV cache'in verimli yönetimi, modellerin daha geniş bir bağlam penceresini işlemesine olanak tanır ve böylece uzun belgeleri işlemelerini veya uzun süreler boyunca tutarlı konuşmalar sürdürmelerini sağlar.

Link to this sectionGerçek Dünya Uygulamaları#

KV cache, modern üretken yapay zekayı dağıtmak için temel bir bileşendir, ancak ilkeleri bilgisayarlı görü (CV) alanına da uzanır.

1. Üretken Chatbot'lar: ChatGPT veya Claude gibi hizmetler büyük ölçüde KV önbelleklemesine güvenir. Bir kullanıcı takip sorusu sorduğunda model, tüm sohbet geçmişini baştan sona tekrar okumaz. Bunun yerine, yeni girdiyi önceki turdan gelen önbelleğe alınmış durumlara ekleyerek neredeyse anlık yanıtlar sağlar.

2. Video Anlama: Video anlama görevlerinde modeller kareleri sırayla işler. Metin token'larına benzer şekilde, geçmiş karelerden gelen görsel özellikler, tüm video geçmişini yeniden işlemeden modelin nesneleri takip etmesine veya eylemleri tanımasına yardımcı olmak için önbelleğe alınabilir. Bu durum, zamansal bağlamın çok önemli olduğu eylem tanıma için özellikle önemlidir.

Link to this sectionVerimli Bellek Yönetimi#

Modeller büyüdükçe, KV cache'in boyutu gigabaytlarca GPU belleği tüketerek bir darboğaz haline gelebilir. Son gelişmeler bu depolamayı optimize etmeye odaklanmaktadır.

• PagedAttention: İşletim sistemlerindeki sanal bellekten ilham alan PagedAttention (vLLM tarafından tanıtılmıştır), KV cache'in ardışık olmayan bellek bloklarında saklanmasını sağlar. Bu, parçalanmayı azaltır ve model sunumu sırasında daha yüksek grup boyutlarına (batch size) izin verir.
• KV Cache Niceleme: Yer kazanmak için geliştiriciler genellikle önbelleğe alınmış değerlere özel olarak karma hassasiyet veya int8 niceleme uygular. Bu, bellek ayak izini azaltarak sınırlı RAM'e sahip uç yapay zeka cihazlarının yetenekli modelleri çalıştırmasını sağlar.
• İstem Önbellekleme: Statik bir sistem isteminin (örneğin "Sen yardımcı bir kodlama asistanısın") KV durumlarının bir kez hesaplanıp birçok farklı kullanıcı oturumunda yeniden kullanıldığı ilgili bir tekniktir. Bu, istem mühendisliği iş akışlarını ölçeklenebilir bir şekilde optimize etmek için temel bir özelliktir.

Link to this sectionİlgili Kavramları Ayırt Etme#

KV Cache'i diğer önbellekleme ve optimizasyon terimlerinden ayırt etmek faydalıdır:

• KV Cache vs. İstem Önbellekleme: KV Cache, tipik olarak tek bir üretim akışı sırasında kullanılan dinamik, token bazlı belleği ifade eder. İstem önbellekleme ise, birden fazla bağımsız çıkarım çağrısında yeniden kullanılmak üzere sabit bir giriş talimatının işlenmiş durumunun saklanmasını ifade eder.
• KV Cache vs. Gömme (Embeddings): Gömme'ler, anlamsal anlamı yakalayan giriş verilerinin (metin veya görüntüler) vektör temsilleridir. KV cache ise, dizi oluşturma amacıyla, dikkat katmanları içindeki bu gömmelerden türetilen aktivasyonları (anahtarlar ve değerler) saklar.
• KV Cache vs. Model Ağırlıkları: Model ağırlıkları, sinir ağının statik, öğrenilmiş parametreleridir. KV cache ise belirli bir giriş dizisinin ileri geçişi sırasında oluşturulan dinamik ve geçici verilerden oluşur.

Link to this sectionÖrnek: Görüntü Modellerinde Bağlam#

KV önbellekleme en çok NLP alanında ünlü olsa da, durumu koruma kavramı gelişmiş görüntü modelleri için de geçerlidir. Aşağıdaki örnekte, Ultralytics YOLO26 kullanarak bir video takip senaryosunda durum (bağlam) aktarma fikrini simüle ediyoruz. Burada takipçi, tıpkı bir önbelleğin token'lar arasında bağlamı korumasına benzer şekilde, kareler boyunca nesnelerin kimliğini korur.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Track objects in a video, maintaining identity state across frames
# The 'track' mode effectively caches object features to link detections
results = model.track(source="https://ultralytics.com/images/bus.jpg", show=False)

# Print the ID of the tracked objects
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.numpy()}")

Developers looking to manage datasets and deploy optimized models can utilize the Ultralytics Platform, which simplifies the pipeline from data annotation to efficient model deployment. For those interested in the deeper mechanics of attention, libraries like PyTorch provide the foundational blocks where these caching mechanisms are implemented.