Speculative Decoding
Spekülatif kod çözmede küçük bir taslak model token'lar önerir, büyük model de bunları tek geçişte denetler; böylece LLM çıktısı değiştirilmeden üretim hızlanır.
Spekülatif kod çözme, küçük ve hızlı bir taslak modelin yaklaşan birkaç belirteci tahmin etmesini ve büyük hedef modelin bunların tümünü tek bir ileri geçişte denetlemesini sağlayarak büyük dil modellerinde (LLMs) metin üretimini hızlandıran bir çıkarım tekniğidir. Kabul edilen her tahmin, büyük modelin tek seferde üretmek zorunda kalmadığı bir belirteçtir ve bir kabul kuralı, çıktının yalnızca hedef modelin ürettiğiyle tamamen aynı olasılık dağılımına uymasını garanti eder. Google'dan Yaniv Leviathan, Matan Kalman ve Yossi Matias, yöntemi Kasım 2022'de Fast Inference from Transformers via Speculative Decoding makalesinde tanıttı ve aynı çıktılarla T5-XXL üretiminin 2-3 kat hızlandığını bildirdi. DeepMind'dan Charlie Chen ve çalışma arkadaşları, aynı fikri Şubat 2023'te spekülatif örnekleme adıyla yayımladı ve 70 milyar parametreli Chinchilla'da 2-2,5 kat hızlanma elde etti.
Kod Çözme Neden Spekülasyona Elverişlidir?#
Otokorelasyonlu üretim, her ileri geçişte bir belirteç üretir ve her geçiş modelin tüm ağırlıklarını bellekten okur. Tek bir dizi için hızı bu bellek trafiği belirler: GPU, her adımın çoğunu bellek bant genişliğini bekleyerek geçirir; bu nedenle tek geçişte beş belirteci puanlamak, bir belirteci puanlamak kadar sürer. Spekülatif kod çözme, bu boşta kalan hesaplama gücünü doğrulamada kullanır. Yaygın bir ifadenin devamı, koddaki kapatma parantezi veya istemden kopyalanan bir ad gibi birçok belirtecin tahmin edilmesi kolaydır ve hedef modelin boyutunun küçük bir bölümüne sahip taslak model bunları çoğu zaman doğru tahmin eder. Sonuç olarak her yanıtın çıkarım gecikmesi düşer.
Taslak Oluşturma ve Doğrulama Döngüsü#
Her tur üç adımdan oluşur. Taslak model, küçük olduğundan ucuza k belirteç adayı üretir. Ardından hedef model, önceki bağlam için KV önbelleğini yeniden kullanarak k taslağın tümünü tek geçişte işler ve taslakta üretilen her konum için kendi olasılığını döndürür. Son olarak taslaklar soldan sağa denetlenir. Bir x taslak belirteci, hedef modelin olasılığı p ve taslak modelin olasılığı q olmak üzere min(1, p(x) / q(x)) olasılığıyla kabul edilir. İlk ret noktasında, geriye kalan max(0, p - q) dağılımından bir değiştirme belirteci örneklenip yeniden normalleştirilir ve kalan taslaklar atılır. k taslağın tümü kabul edilirse hedef modelin sonraki konum için tahmini aynı geçişten ücretsiz gelir; böylece bir turda 1 ile k + 1 arasında belirteç üretilir.
Açgözlü kod çözmede test, taslakları hedef modelin en yüksek olasılıklı belirteciyle eşleşene kadar tutan bir eşleşme denetimine indirgenir. Her taslak a olasılığıyla kabul edilirse bir tur ortalama (1 - a^(k+1)) / (1 - a) belirteç üretir; dolayısıyla a = 0.8 ve k = 4 iken hedef model her ileri geçişte yaklaşık 3.4 belirteç ilerler.
Bu PyTorch simülasyonu, kabul kuralını tek bir kod çözme adımına uygular ve hangi belirteçlerin çıktığını sayar:
import torch
torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05]) # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20]) # draft model's probabilities for the same step
# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)
# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)
print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")Çalıştırma, taslakların %80,1'ini kabul eder; bu oran, iki dağılımın örtüşme değeri olan min(p, q) toplamıyla, yani 0.80 ile eşleşir. 0.5003, 0.2985, 0.1503 ve 0.0510 olan çıktı sıklıkları, belirteçlerin çoğu taslak model tarafından önerilmiş olsa da hedef dağılım p'yi yeniden üretir.
Taslak Kaynakları ve İlgili Teknikler#
Taslağın ayrı bir ağ olması gerekmez:
- Aynı aileden küçük dil modeli: Aynı belirteçleyiciye sahip ve büyük modelle birlikte yayımlanan bir model, klasik tercihtir.
- Medusa başlıkları: Hedef modeldeki ek kod çözme başlıkları, son gizli durumundan gelecekteki birkaç belirteci tahmin eder ve bunları ağaç dikkatiyle doğrular.
- İstem arama: Taslak belirteçler, istemdeki eşleşen n-gram'lardan kopyalanır. Bu yöntem; özetleme, erişim artırımlı yanıtlar ve girdiyi yineleyen kod düzenlemelerinde iyi çalışır.
Bilgi damıtma, büyük modelin yerini alacak küçük bir modeli eğitir; hedef modelin daha sık kabul ettiği tahminler üreten taslak modelleri eğitmek için de yaygın bir yöntemdir. Model nicemleme, hedef modelin kendi ağırlıklarının hassasiyetini azaltarak çıktılarını biraz değiştirir; nicemlenmiş taslak modeller de sık kullanılan bir eşleşmedir.
vLLM, SGLang, TensorRT-LLM ve llama.cpp gibi sunum motorları spekülatif kod çözmeyi destekler; Hugging Face Transformers ise bunu destekli üretim olarak sunar. Algılamalarını Ultralytics LLM arayüzü üzerinden bir dil modeline ileten YOLO26 hattı, base_url değerini böyle bir yerel sunucuya yönlendirebilir; böylece üretilen raporlar aynı çıktı dağılımıyla daha erken akışa girer. Kazanç, küçük toplu iş boyutlarında en büyüktür: yoğun trafikte sürekli toplu işleme, GPU'yu diğer isteklerle zaten doldurduğundan doğrulamaya ayrılacak fazla hesaplama gücü kalmaz.










