YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Speculative Decoding

Spekülatif kod çözmede küçük bir taslak model token'lar önerir, büyük model de bunları tek geçişte denetler; böylece LLM çıktısı değiştirilmeden üretim hızlanır.

Spekülatif kod çözme, küçük ve hızlı bir taslak modelin yaklaşan birkaç belirteci tahmin etmesini ve büyük hedef modelin bunların tümünü tek bir ileri geçişte denetlemesini sağlayarak büyük dil modellerinde (LLMs) metin üretimini hızlandıran bir çıkarım tekniğidir. Kabul edilen her tahmin, büyük modelin tek seferde üretmek zorunda kalmadığı bir belirteçtir ve bir kabul kuralı, çıktının yalnızca hedef modelin ürettiğiyle tamamen aynı olasılık dağılımına uymasını garanti eder. Google'dan Yaniv Leviathan, Matan Kalman ve Yossi Matias, yöntemi Kasım 2022'de Fast Inference from Transformers via Speculative Decoding makalesinde tanıttı ve aynı çıktılarla T5-XXL üretiminin 2-3 kat hızlandığını bildirdi. DeepMind'dan Charlie Chen ve çalışma arkadaşları, aynı fikri Şubat 2023'te spekülatif örnekleme adıyla yayımladı ve 70 milyar parametreli Chinchilla'da 2-2,5 kat hızlanma elde etti.

Kod Çözme Neden Spekülasyona Elverişlidir?#

Otokorelasyonlu üretim, her ileri geçişte bir belirteç üretir ve her geçiş modelin tüm ağırlıklarını bellekten okur. Tek bir dizi için hızı bu bellek trafiği belirler: GPU, her adımın çoğunu bellek bant genişliğini bekleyerek geçirir; bu nedenle tek geçişte beş belirteci puanlamak, bir belirteci puanlamak kadar sürer. Spekülatif kod çözme, bu boşta kalan hesaplama gücünü doğrulamada kullanır. Yaygın bir ifadenin devamı, koddaki kapatma parantezi veya istemden kopyalanan bir ad gibi birçok belirtecin tahmin edilmesi kolaydır ve hedef modelin boyutunun küçük bir bölümüne sahip taslak model bunları çoğu zaman doğru tahmin eder. Sonuç olarak her yanıtın çıkarım gecikmesi düşer.

Taslak Oluşturma ve Doğrulama Döngüsü#

Her tur üç adımdan oluşur. Taslak model, küçük olduğundan ucuza k belirteç adayı üretir. Ardından hedef model, önceki bağlam için KV önbelleğini yeniden kullanarak k taslağın tümünü tek geçişte işler ve taslakta üretilen her konum için kendi olasılığını döndürür. Son olarak taslaklar soldan sağa denetlenir. Bir x taslak belirteci, hedef modelin olasılığı p ve taslak modelin olasılığı q olmak üzere min(1, p(x) / q(x)) olasılığıyla kabul edilir. İlk ret noktasında, geriye kalan max(0, p - q) dağılımından bir değiştirme belirteci örneklenip yeniden normalleştirilir ve kalan taslaklar atılır. k taslağın tümü kabul edilirse hedef modelin sonraki konum için tahmini aynı geçişten ücretsiz gelir; böylece bir turda 1 ile k + 1 arasında belirteç üretilir.

Açgözlü kod çözmede test, taslakları hedef modelin en yüksek olasılıklı belirteciyle eşleşene kadar tutan bir eşleşme denetimine indirgenir. Her taslak a olasılığıyla kabul edilirse bir tur ortalama (1 - a^(k+1)) / (1 - a) belirteç üretir; dolayısıyla a = 0.8 ve k = 4 iken hedef model her ileri geçişte yaklaşık 3.4 belirteç ilerler.

Bu PyTorch simülasyonu, kabul kuralını tek bir kod çözme adımına uygular ve hangi belirteçlerin çıktığını sayar:

import torch

torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05])  # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20])  # draft model's probabilities for the same step

# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)

# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)

print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")

Çalıştırma, taslakların %80,1'ini kabul eder; bu oran, iki dağılımın örtüşme değeri olan min(p, q) toplamıyla, yani 0.80 ile eşleşir. 0.5003, 0.2985, 0.1503 ve 0.0510 olan çıktı sıklıkları, belirteçlerin çoğu taslak model tarafından önerilmiş olsa da hedef dağılım p'yi yeniden üretir.

Taslağın ayrı bir ağ olması gerekmez:

  • Aynı aileden küçük dil modeli: Aynı belirteçleyiciye sahip ve büyük modelle birlikte yayımlanan bir model, klasik tercihtir.
  • Medusa başlıkları: Hedef modeldeki ek kod çözme başlıkları, son gizli durumundan gelecekteki birkaç belirteci tahmin eder ve bunları ağaç dikkatiyle doğrular.
  • İstem arama: Taslak belirteçler, istemdeki eşleşen n-gram'lardan kopyalanır. Bu yöntem; özetleme, erişim artırımlı yanıtlar ve girdiyi yineleyen kod düzenlemelerinde iyi çalışır.

Bilgi damıtma, büyük modelin yerini alacak küçük bir modeli eğitir; hedef modelin daha sık kabul ettiği tahminler üreten taslak modelleri eğitmek için de yaygın bir yöntemdir. Model nicemleme, hedef modelin kendi ağırlıklarının hassasiyetini azaltarak çıktılarını biraz değiştirir; nicemlenmiş taslak modeller de sık kullanılan bir eşleşmedir.

vLLM, SGLang, TensorRT-LLM ve llama.cpp gibi sunum motorları spekülatif kod çözmeyi destekler; Hugging Face Transformers ise bunu destekli üretim olarak sunar. Algılamalarını Ultralytics LLM arayüzü üzerinden bir dil modeline ileten YOLO26 hattı, base_url değerini böyle bir yerel sunucuya yönlendirebilir; böylece üretilen raporlar aynı çıktı dağılımıyla daha erken akışa girer. Kazanç, küçük toplu iş boyutlarında en büyüktür: yoğun trafikte sürekli toplu işleme, GPU'yu diğer isteklerle zaten doldurduğundan doğrulamaya ayrılacak fazla hesaplama gücü kalmaz.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla