Лицензия YOLO
Назад к глоссарию Ultralytics

Speculative Decoding

При спекулятивном декодировании небольшая черновая модель предлагает токены, а большая модель проверяет их за один проход, ускоряя генерацию текста LLM без изменения результата.

Спекулятивное декодирование — это метод инференса, ускоряющий генерацию текста в больших языковых моделях (LLMs): небольшая быстрая черновая модель предсказывает несколько следующих токенов, а большая целевая модель проверяет их все за один прямой проход. Каждый принятый вариант — это токен, который большой модели не пришлось бы генерировать по одному на каждом шаге; правило принятия гарантирует, что выходные данные точно соответствуют распределению вероятностей целевой модели. Янив Левиафан, Матан Калман и Йосси Матиас из Google представили этот подход в ноябре 2022 года в работе Fast Inference from Transformers via Speculative Decoding, сообщив об ускорении генерации T5-XXL в 2–3 раза при идентичных выходных данных. Чарли Чен и его коллеги из DeepMind опубликовали ту же идею под названием speculative sampling в феврале 2023 года, сообщив об ускорении в 2–2,5 раза для Chinchilla с 70 миллиардами параметров.

Почему при декодировании есть возможность для спекуляции#

При авторегрессионной генерации за один прямой проход создаётся один токен, а каждый проход считывает из памяти все веса модели. Для одной последовательности скорость ограничивается именно этим потоком данных: GPU большую часть каждого шага ждёт, пока данные поступят из памяти, поэтому вычисление оценок для пяти токенов за один проход занимает почти столько же времени, сколько для одного. Спекулятивное декодирование использует эти простаивающие вычислительные ресурсы для проверки. Многие токены легко предсказать: например, продолжение распространённого выражения, закрывающую скобку в коде или имя, скопированное из запроса. Черновая модель, намного меньше целевой, обычно предсказывает такие токены правильно. В результате снижается задержка инференса для каждого ответа.

Цикл генерации и проверки черновых вариантов#

Каждый раунд состоит из трёх этапов. Черновая модель генерирует k возможных токенов, что обходится дёшево благодаря её небольшому размеру. Затем целевая модель обрабатывает все k вариантов за один проход, повторно используя KV-кэш предыдущего контекста, и возвращает собственную вероятность для каждой позиции черновика. Наконец, черновые токены проверяются слева направо. Черновой токен x принимается с вероятностью min(1, p(x) / q(x)), где p — вероятность целевой модели, а q — черновой. При первом отклонении из остаточного распределения max(0, p - q) выбирается токен-замена; распределение нормализуется, а остальные черновые варианты отбрасываются. Если приняты все k вариантов, предсказание целевой модели для следующей позиции получается бесплатно в том же проходе, поэтому за один раунд выдаётся от 1 до k + 1 токенов.

При жадном декодировании проверка сводится к сравнению: черновые варианты принимаются, пока совпадают с самым вероятным токеном целевой модели. Если вероятность принятия каждого чернового варианта равна a, то в среднем за раунд генерируется (1 - a^(k+1)) / (1 - a) токенов. Например, при a = 0,8 и k = 4 целевая модель продвигается примерно на 3,4 токена за прямой проход.

Эта симуляция на PyTorch применяет правило принятия на одном шаге декодирования и подсчитывает получившиеся токены:

import torch

torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05])  # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20])  # draft model's probabilities for the same step

# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)

# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)

print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")

В ходе запуска принимаются 80,1% черновых вариантов, что соответствует пересечению двух распределений — сумме min(p, q), равной 0,80. Частоты выходных токенов 0,5003, 0,2985, 0,1503 и 0,0510 воспроизводят целевое распределение p, хотя большинство токенов предложила черновая модель.

Черновая модель не обязательно должна быть отдельной сетью:

  • Малая языковая модель из того же семейства: классический вариант — модель с тем же токенизатором, выпущенная вместе с большой моделью.
  • Головы Medusa: дополнительные головы декодирования целевой модели предсказывают несколько следующих токенов по её последнему скрытому состоянию и проверяют их с помощью древовидного внимания.
  • Поиск в запросе: черновые токены копируются из совпадающих n-грамм запроса. Этот способ хорошо работает при суммаризации, подготовке ответов с дополнением извлечёнными данными и редактировании кода с повторным использованием исходного текста.

Дистилляция знаний обучает малую модель заменять большую и часто применяется для создания черновых моделей, чьи варианты целевая модель принимает чаще. Квантование модели снижает точность собственных весов целевой модели и немного меняет её выходные данные; квантованные черновые модели часто используются вместе с ней.

Системы инференса, такие как vLLM, SGLang, TensorRT-LLM и llama.cpp, поддерживают спекулятивное декодирование, а в Transformers от Hugging Face оно доступно как генерация с подсказками. В конвейере YOLO26, который передаёт результаты детекции языковой модели через интерфейс LLM Ultralytics, можно указать base_url адрес локального сервера с такой поддержкой, чтобы отчёты генерировались быстрее с тем же распределением выходных данных. Выигрыш максимален при небольших размерах пакета: при высокой нагрузке непрерывная пакетная обработка уже занимает GPU другими запросами и почти не оставляет свободных вычислительных ресурсов для проверки.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения