Speculative Decoding
La decodifica speculativa fa sì che un modello bozza di piccole dimensioni proponga token che il modello più grande verifica in un solo passaggio, velocizzando l’output dell’LLM senza modificarlo.
La decodifica speculativa è una tecnica di inferenza che accelera la generazione di testo nei modelli linguistici di grandi dimensioni (LLMs), permettendo a un modello bozza piccolo e veloce di indovinare diversi token successivi e al modello target più grande di verificarli tutti in un unico passaggio in avanti. Ogni ipotesi accettata è un token che il modello grande non ha dovuto generare un passaggio alla volta e una regola di accettazione garantisce che l'output segua esattamente la stessa distribuzione di probabilità del solo modello target. Yaniv Leviathan, Matan Kalman e Yossi Matias di Google l'hanno introdotta nel novembre 2022 in Fast Inference from Transformers via Speculative Decoding, riportando una generazione T5-XXL da 2 a 3 volte più veloce con output identici. Charlie Chen e i suoi colleghi di DeepMind hanno pubblicato la stessa idea come campionamento speculativo nel febbraio 2023, ottenendo un'accelerazione da 2 a 2,5 volte su Chinchilla da 70 miliardi di parametri.
Perché la decodifica lascia spazio alla speculazione#
La generazione autoregressiva produce un token per passaggio in avanti e ogni passaggio legge dalla memoria tutti i pesi del modello. Per una singola sequenza, il ritmo è dettato dal traffico di memoria: una GPU trascorre la maggior parte di ogni passaggio in attesa della larghezza di banda della memoria, quindi calcolare il punteggio di cinque token in un solo passaggio richiede quasi quanto calcolarne uno. La decodifica speculativa sfrutta quel calcolo inutilizzato per la verifica. Molti token sono facili da prevedere, come il resto di un'espressione comune, una parentesi di chiusura nel codice o un nome copiato dal prompt, e un modello bozza molto più piccolo del target li indovina correttamente quasi sempre. Il risultato è una minore latenza di inferenza per ogni risposta.
Il ciclo di generazione e verifica#
Ogni ciclo prevede tre passaggi. Il modello bozza genera k token candidati, un'operazione economica perché il modello è piccolo. Il modello target elabora quindi tutte le k ipotesi in un unico passaggio, riutilizzando la propria cache KV per il contesto precedente, e restituisce la propria probabilità per ogni posizione proposta. Infine, le ipotesi vengono verificate da sinistra a destra. Un token ipotizzato x viene accettato con probabilità min(1, p(x) / q(x)), dove p è la probabilità del target e q quella del modello bozza. Al primo rifiuto, si estrae un token sostitutivo dalla distribuzione residua max(0, p - q), rinormalizzata, e si scartano le ipotesi restanti. Se tutte le k ipotesi vengono accettate, la previsione del target per la posizione successiva è già disponibile dallo stesso passaggio, perciò un ciclo produce da 1 a k + 1 token.
Con la decodifica greedy, il test si riduce a un controllo di corrispondenza che mantiene le ipotesi finché coincidono con il token più probabile del target. Se ogni ipotesi viene accettata con probabilità a, un ciclo produce in media (1 - a^(k+1)) / (1 - a) token; quindi, con a = 0,8 e k = 4, il modello target avanza di circa 3,4 token per passaggio in avanti.
Questa simulazione PyTorch applica la regola di accettazione a un passaggio di decodifica e conta i token generati:
import torch
torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05]) # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20]) # draft model's probabilities for the same step
# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)
# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)
print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")L'esecuzione accetta l'80,1% delle ipotesi, in linea con la sovrapposizione tra le due distribuzioni, la somma di min(p, q), pari a 0,80. Le frequenze di output di 0,5003, 0,2985, 0,1503 e 0,0510 riproducono la distribuzione target p, anche se la maggior parte dei token è stata proposta dal modello bozza.
Fonti delle ipotesi e tecniche correlate#
Il modello bozza non deve necessariamente essere una rete separata:
- Modello linguistico piccolo della stessa famiglia: un modello con lo stesso tokenizer, rilasciato insieme al modello grande, è la scelta classica.
- Teste Medusa: teste di decodifica aggiuntive nel modello target prevedono diversi token futuri a partire dal suo ultimo stato nascosto e li verificano con l'attenzione ad albero.
- Ricerca nel prompt: i token ipotizzati vengono copiati dagli n-grammi corrispondenti nel prompt; funziona bene per riassunti, risposte con generazione aumentata dal recupero e modifiche al codice che ripetono l'input.
La distillazione della conoscenza addestra un modello piccolo a sostituirne uno grande ed è anche un metodo comune per addestrare modelli bozza le cui ipotesi vengono accettate più spesso dal target. La quantizzazione del modello riduce la precisione dei pesi del modello target, modificandone leggermente gli output, e spesso viene abbinata a modelli bozza quantizzati.
Motori di serving come vLLM, SGLang, TensorRT-LLM e llama.cpp includono la decodifica speculativa, mentre Transformers di Hugging Face la offre come generazione assistita. Una pipeline YOLO26 che invia i propri rilevamenti a un modello linguistico tramite l'interfaccia LLM di Ultralytics può indirizzare base_url a un server locale di questo tipo, così i rapporti generati vengono trasmessi prima, mantenendo la stessa distribuzione di output. Il vantaggio è maggiore con dimensioni dei batch ridotte: con traffico intenso, il batching continuo occupa già la GPU con altre richieste, lasciando poco calcolo libero per la verifica.










