Speculative Decoding
При спекулятивном декодировании небольшая черновая модель предлагает токены, а большая модель проверяет их за один проход, ускоряя генерацию текста LLM без изменения результата.
Спекулятивное декодирование — это метод инференса, ускоряющий генерацию текста в больших языковых моделях (LLMs): небольшая быстрая черновая модель предсказывает несколько следующих токенов, а большая целевая модель проверяет их все за один прямой проход. Каждый принятый вариант — это токен, который большой модели не пришлось бы генерировать по одному на каждом шаге; правило принятия гарантирует, что выходные данные точно соответствуют распределению вероятностей целевой модели. Янив Левиафан, Матан Калман и Йосси Матиас из Google представили этот подход в ноябре 2022 года в работе Fast Inference from Transformers via Speculative Decoding, сообщив об ускорении генерации T5-XXL в 2–3 раза при идентичных выходных данных. Чарли Чен и его коллеги из DeepMind опубликовали ту же идею под названием speculative sampling в феврале 2023 года, сообщив об ускорении в 2–2,5 раза для Chinchilla с 70 миллиардами параметров.
Почему при декодировании есть возможность для спекуляции#
При авторегрессионной генерации за один прямой проход создаётся один токен, а каждый проход считывает из памяти все веса модели. Для одной последовательности скорость ограничивается именно этим потоком данных: GPU большую часть каждого шага ждёт, пока данные поступят из памяти, поэтому вычисление оценок для пяти токенов за один проход занимает почти столько же времени, сколько для одного. Спекулятивное декодирование использует эти простаивающие вычислительные ресурсы для проверки. Многие токены легко предсказать: например, продолжение распространённого выражения, закрывающую скобку в коде или имя, скопированное из запроса. Черновая модель, намного меньше целевой, обычно предсказывает такие токены правильно. В результате снижается задержка инференса для каждого ответа.
Цикл генерации и проверки черновых вариантов#
Каждый раунд состоит из трёх этапов. Черновая модель генерирует k возможных токенов, что обходится дёшево благодаря её небольшому размеру. Затем целевая модель обрабатывает все k вариантов за один проход, повторно используя KV-кэш предыдущего контекста, и возвращает собственную вероятность для каждой позиции черновика. Наконец, черновые токены проверяются слева направо. Черновой токен x принимается с вероятностью min(1, p(x) / q(x)), где p — вероятность целевой модели, а q — черновой. При первом отклонении из остаточного распределения max(0, p - q) выбирается токен-замена; распределение нормализуется, а остальные черновые варианты отбрасываются. Если приняты все k вариантов, предсказание целевой модели для следующей позиции получается бесплатно в том же проходе, поэтому за один раунд выдаётся от 1 до k + 1 токенов.
При жадном декодировании проверка сводится к сравнению: черновые варианты принимаются, пока совпадают с самым вероятным токеном целевой модели. Если вероятность принятия каждого чернового варианта равна a, то в среднем за раунд генерируется (1 - a^(k+1)) / (1 - a) токенов. Например, при a = 0,8 и k = 4 целевая модель продвигается примерно на 3,4 токена за прямой проход.
Эта симуляция на PyTorch применяет правило принятия на одном шаге декодирования и подсчитывает получившиеся токены:
import torch
torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05]) # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20]) # draft model's probabilities for the same step
# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)
# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)
print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")В ходе запуска принимаются 80,1% черновых вариантов, что соответствует пересечению двух распределений — сумме min(p, q), равной 0,80. Частоты выходных токенов 0,5003, 0,2985, 0,1503 и 0,0510 воспроизводят целевое распределение p, хотя большинство токенов предложила черновая модель.
Источники черновых вариантов и смежные методы#
Черновая модель не обязательно должна быть отдельной сетью:
- Малая языковая модель из того же семейства: классический вариант — модель с тем же токенизатором, выпущенная вместе с большой моделью.
- Головы Medusa: дополнительные головы декодирования целевой модели предсказывают несколько следующих токенов по её последнему скрытому состоянию и проверяют их с помощью древовидного внимания.
- Поиск в запросе: черновые токены копируются из совпадающих n-грамм запроса. Этот способ хорошо работает при суммаризации, подготовке ответов с дополнением извлечёнными данными и редактировании кода с повторным использованием исходного текста.
Дистилляция знаний обучает малую модель заменять большую и часто применяется для создания черновых моделей, чьи варианты целевая модель принимает чаще. Квантование модели снижает точность собственных весов целевой модели и немного меняет её выходные данные; квантованные черновые модели часто используются вместе с ней.
Системы инференса, такие как vLLM, SGLang, TensorRT-LLM и llama.cpp, поддерживают спекулятивное декодирование, а в Transformers от Hugging Face оно доступно как генерация с подсказками. В конвейере YOLO26, который передаёт результаты детекции языковой модели через интерфейс LLM Ultralytics, можно указать base_url адрес локального сервера с такой поддержкой, чтобы отчёты генерировались быстрее с тем же распределением выходных данных. Выигрыш максимален при небольших размерах пакета: при высокой нагрузке непрерывная пакетная обработка уже занимает GPU другими запросами и почти не оставляет свободных вычислительных ресурсов для проверки.










