Licenza YOLO
Torna al glossario di Ultralytics

Speculative Decoding

La decodifica speculativa fa sì che un modello bozza di piccole dimensioni proponga token che il modello più grande verifica in un solo passaggio, velocizzando l’output dell’LLM senza modificarlo.

La decodifica speculativa è una tecnica di inferenza che accelera la generazione di testo nei modelli linguistici di grandi dimensioni (LLMs), permettendo a un modello bozza piccolo e veloce di indovinare diversi token successivi e al modello target più grande di verificarli tutti in un unico passaggio in avanti. Ogni ipotesi accettata è un token che il modello grande non ha dovuto generare un passaggio alla volta e una regola di accettazione garantisce che l'output segua esattamente la stessa distribuzione di probabilità del solo modello target. Yaniv Leviathan, Matan Kalman e Yossi Matias di Google l'hanno introdotta nel novembre 2022 in Fast Inference from Transformers via Speculative Decoding, riportando una generazione T5-XXL da 2 a 3 volte più veloce con output identici. Charlie Chen e i suoi colleghi di DeepMind hanno pubblicato la stessa idea come campionamento speculativo nel febbraio 2023, ottenendo un'accelerazione da 2 a 2,5 volte su Chinchilla da 70 miliardi di parametri.

Perché la decodifica lascia spazio alla speculazione#

La generazione autoregressiva produce un token per passaggio in avanti e ogni passaggio legge dalla memoria tutti i pesi del modello. Per una singola sequenza, il ritmo è dettato dal traffico di memoria: una GPU trascorre la maggior parte di ogni passaggio in attesa della larghezza di banda della memoria, quindi calcolare il punteggio di cinque token in un solo passaggio richiede quasi quanto calcolarne uno. La decodifica speculativa sfrutta quel calcolo inutilizzato per la verifica. Molti token sono facili da prevedere, come il resto di un'espressione comune, una parentesi di chiusura nel codice o un nome copiato dal prompt, e un modello bozza molto più piccolo del target li indovina correttamente quasi sempre. Il risultato è una minore latenza di inferenza per ogni risposta.

Il ciclo di generazione e verifica#

Ogni ciclo prevede tre passaggi. Il modello bozza genera k token candidati, un'operazione economica perché il modello è piccolo. Il modello target elabora quindi tutte le k ipotesi in un unico passaggio, riutilizzando la propria cache KV per il contesto precedente, e restituisce la propria probabilità per ogni posizione proposta. Infine, le ipotesi vengono verificate da sinistra a destra. Un token ipotizzato x viene accettato con probabilità min(1, p(x) / q(x)), dove p è la probabilità del target e q quella del modello bozza. Al primo rifiuto, si estrae un token sostitutivo dalla distribuzione residua max(0, p - q), rinormalizzata, e si scartano le ipotesi restanti. Se tutte le k ipotesi vengono accettate, la previsione del target per la posizione successiva è già disponibile dallo stesso passaggio, perciò un ciclo produce da 1 a k + 1 token.

Con la decodifica greedy, il test si riduce a un controllo di corrispondenza che mantiene le ipotesi finché coincidono con il token più probabile del target. Se ogni ipotesi viene accettata con probabilità a, un ciclo produce in media (1 - a^(k+1)) / (1 - a) token; quindi, con a = 0,8 e k = 4, il modello target avanza di circa 3,4 token per passaggio in avanti.

Questa simulazione PyTorch applica la regola di accettazione a un passaggio di decodifica e conta i token generati:

import torch

torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05])  # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20])  # draft model's probabilities for the same step

# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)

# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)

print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")

L'esecuzione accetta l'80,1% delle ipotesi, in linea con la sovrapposizione tra le due distribuzioni, la somma di min(p, q), pari a 0,80. Le frequenze di output di 0,5003, 0,2985, 0,1503 e 0,0510 riproducono la distribuzione target p, anche se la maggior parte dei token è stata proposta dal modello bozza.

Il modello bozza non deve necessariamente essere una rete separata:

  • Modello linguistico piccolo della stessa famiglia: un modello con lo stesso tokenizer, rilasciato insieme al modello grande, è la scelta classica.
  • Teste Medusa: teste di decodifica aggiuntive nel modello target prevedono diversi token futuri a partire dal suo ultimo stato nascosto e li verificano con l'attenzione ad albero.
  • Ricerca nel prompt: i token ipotizzati vengono copiati dagli n-grammi corrispondenti nel prompt; funziona bene per riassunti, risposte con generazione aumentata dal recupero e modifiche al codice che ripetono l'input.

La distillazione della conoscenza addestra un modello piccolo a sostituirne uno grande ed è anche un metodo comune per addestrare modelli bozza le cui ipotesi vengono accettate più spesso dal target. La quantizzazione del modello riduce la precisione dei pesi del modello target, modificandone leggermente gli output, e spesso viene abbinata a modelli bozza quantizzati.

Motori di serving come vLLM, SGLang, TensorRT-LLM e llama.cpp includono la decodifica speculativa, mentre Transformers di Hugging Face la offre come generazione assistita. Una pipeline YOLO26 che invia i propri rilevamenti a un modello linguistico tramite l'interfaccia LLM di Ultralytics può indirizzare base_url a un server locale di questo tipo, così i rapporti generati vengono trasmessi prima, mantenendo la stessa distribuzione di output. Il vantaggio è maggiore con dimensioni dei batch ridotte: con traffico intenso, il batching continuo occupa già la GPU con altre richieste, lasciando poco calcolo libero per la verifica.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning