YOLOのライセンス
Ultralytics用語集に戻る

Speculative Decoding

投機的デコーディングでは、小型のドラフトモデルがトークンを提案し、大型モデルが一度の処理で検証することで、出力を変えずにLLMの生成を高速化します。

投機的デコードは、小型で高速なドラフトモデルに今後のトークンを複数予測させ、大型のターゲットモデルが1回のフォワードパスですべてを検証することで、大規模言語モデル (LLMs)のテキスト生成を高速化する推論手法です。採用された予測は、大型モデルが1ステップずつ生成する必要のなかったトークンです。また、受理規則により、出力の確率分布はターゲットモデル単独の場合と完全に同じになります。GoogleのYaniv Leviathan、Matan Kalman、Yossi Matiasは、2022年11月にFast Inference from Transformers via Speculative Decodingでこの手法を発表し、出力を変えずにT5-XXLの生成を2~3倍高速化したと報告しました。DeepMindのCharlie Chenらは2023年2月に同じ考え方をspeculative samplingとして発表し、700億パラメーターのChinchillaで2~2.5倍の高速化を達成しました。

デコードに投機の余地がある理由#

自己回帰生成ではフォワードパスごとに1つのトークンを生成し、毎回のパスでモデルの重みをすべてメモリから読み込みます。単一系列では、このメモリ転送が速度を決めます。GPUは各ステップの大半をメモリ帯域幅待ちに費やすため、1回のパスで5トークンをスコアリングしても、1トークンの場合とほぼ同じ時間で済みます。投機的デコードは、この空き計算能力を検証に使います。よく使われるフレーズの続き、コードの閉じ括弧、プロンプトからコピーした名前など、多くのトークンは予測が容易であり、ターゲットのごく一部のサイズのドラフトモデルでもほとんどの場合正しく予測できます。その結果、応答ごとの推論レイテンシが低下します。

ドラフトと検証のループ#

各ラウンドは3つのステップで構成されます。小型のドラフトモデルがk個の候補トークンを生成するため、低コストです。次にターゲットモデルが、先行するコンテキストのKVキャッシュを再利用しながら、k個のドラフトすべてを1回のパスで処理し、ドラフトの各位置について独自の確率を返します。最後に、ドラフトを左から順に検査します。ドラフトトークンxは、pがターゲットの確率、qがドラフトの確率のとき、確率min(1, p(x) / q(x))で受理されます。最初に拒否された位置では、残余分布max(0, p - q)を正規化したものから置き換えトークンをサンプリングし、残りのドラフトを破棄します。k個すべてが受理された場合、ターゲットモデルは同じパスで次の位置の予測も追加コストなしに行うため、1ラウンドで1~k + 1個のトークンを生成できます。

貪欲デコードでは、テストは一致判定に簡略化され、ドラフトがターゲットの最上位トークンと一致する間は採用されます。各ドラフトが確率aで受理される場合、1ラウンドで生成されるトークン数の平均は(1 - a^(k+1)) / (1 - a)です。a = 0.8、k = 4の場合、ターゲットモデルはフォワードパスごとに約3.4トークン分進みます。

このPyTorchシミュレーションは、1回のデコードステップに受理規則を適用し、出力されるトークンを数えます。

import torch

torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05])  # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20])  # draft model's probabilities for the same step

# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)

# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)

print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")

実行ではドラフトの80.1%が受理されます。これは2つの分布の重なり、つまりmin(p, q)の合計である0.80と一致します。出力頻度の0.5003、0.2985、0.1503、0.0510は、ほとんどのトークンがドラフトから提案されたにもかかわらず、ターゲット分布pを再現しています。

ドラフトに別のネットワークを使う必要はありません。

  • 同じ系列の小規模言語モデル: 大型モデルと同時に公開された、同じトークナイザーを使うモデルが一般的な選択肢です。
  • Medusaヘッド: ターゲットモデルに追加するデコードヘッドが、最後の隠れ状態から複数の将来トークンを予測し、ツリー注意機構で検証します。
  • プロンプト検索: プロンプト内で一致するn-gramからドラフトトークンをコピーします。要約、検索拡張型の回答、入力の一部を繰り返すコード編集で効果的です。

知識蒸留は小型モデルを大型モデルの代わりに機能するよう学習させる手法であり、ターゲットに受理されやすい予測を行うドラフトの学習にもよく使われます。モデル量子化はターゲットモデル自体の重みの精度を下げ、出力をわずかに変化させます。量子化されたドラフトは、よく組み合わせて使われます。

vLLM、SGLang、TensorRT-LLM、llama.cppなどのサービングエンジンは投機的デコードを提供しており、Hugging Face Transformersでは補助生成として利用できます。YOLO26のパイプラインで、Ultralytics LLMインターフェースを介して検出結果を言語モデルに渡す場合、base_urlをそのようなローカルサーバーに指定できます。生成されるレポートは、同じ出力分布を保ったまま、より早くストリーミングで返されます。効果が最も大きいのは小さなバッチサイズの場合です。高負荷のトラフィック下では、連続バッチ処理がすでにGPUを他のリクエストで埋めているため、検証に使える余剰計算能力はほとんどありません。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう