Speculative Decoding：draft 先猜，target 一次验证

读完这节你应该知道：为什么“多猜几个 token”有收益空间，以及为什么直接接受 draft 会改变输出分布。

自回归解码的第 t 步只依赖前 t−1 个 token。生成 K 个 token 需要 K 次串行的目标模型调用；每次调用都要把模型权重和 KV Cache 从显存读到计算单元。对 Transformer 来说，这一步的算术量远小于访存量，因此 latency 主要由 memory bandwidth 决定，而不是 GPU 的峰值算力（Leviathan et al. §1；Chen et al. §1）。

论文的观察是：并非所有 token 都一样难。有些位置的目标分布很尖，小模型也能猜中；有些位置很难，必须由目标模型决定。如果把“猜”交给更便宜的模型，再把多个猜测拼成一个更长的序列，让目标模型一次 forward 并行验证，就能在目标模型调用次数不变的情况下多产出几个 token（§2.1）。

这两个要求合在一起，才是 speculative decoding 的问题定义：不改变目标模型的参数、架构和输出分布，只改变解码的调度方式。论文的贡献不是“用小模型猜”，而是给出了一个能纠正 draft 分布、并且对任意 draft 模型都成立的采样规则（§2.3、§3.6）。

读完这节你应该知道：speculative decoding 与量化/蒸馏、block/parallel decoding 的分界线，以及 EAGLE 在这条线上的位置。

Speculative decoding 的位置在两者之间：目标模型完全不动，draft 可以任意便宜，输出分布仍然按目标模型来。代价从“改模型”变成了“多一个 draft 模型 + 一次并行验证 + 拒绝后的重采样”。这也是它能在 off-the-shelf 模型上直接使用的原因（§1、§3.6）。

Chen et al. 与 Leviathan et al. 是同期独立工作，核心接受规则相同；Chen 的重点是 Chinchilla 70B 的分布式 serving，Leviathan 的重点是算法分析、T5-XXL 实测和 walltime 模型。两者都强调：draft 模型不需要和 target 同架构，但必须能给出可比较的分布。

读完这节你应该知道：Algorithm 1 的每一步在做什么，以及为什么这个接受/拒绝规则能把 q 的样本修正成 p 的样本。

记目标模型分布为 p(x)，draft 模型分布为 q(x)，前缀固定。Algorithm 1 先让 draft 自回归采样 γ 个 token，再让目标模型对 prefix、prefix+x1、…、prefix+x1…xγ 做并行 forward，得到 p1 … pγ+1。然后从左到右逐个判断是否接受。

1. Draft：对 i=1…γ，计算 qi ← Mq(prefix + x1…x(i−1))，采样 xi ~ qi。
2. Verify：目标模型一次并行计算 p1 … pγ+1；每个位置都是一个完整的分布，不是一个 argmax。
3. Accept：对每个位置抽 ri ~ U(0,1)；若 ri ≤ pi(xi)/qi(xi) 则接受，否则停在第一个拒绝处。接受数为 n。
4. Recover / Bonus：若 n < γ，从 norm(max(0, p(n+1) − q(n+1))) 采样一个修正 token；若全部接受，则从 p(γ+1) 采样 bonus token。输出 x1…xn, t。

Algorithm 1 的接受/拒绝规则；第一个拒绝之后的位置全部丢弃。

为什么这样就得到 p？把“输出的 token 是 x”拆成两条互斥路径：draft 抽到 x 且被接受，或者 draft 被拒绝、修正分布抽到 x。第一条路径的概率是 min(q(x), p(x))；第二条路径的概率是“总拒绝质量”乘以修正分布在 x 上的质量。把 Σ max(0, p−q) = 1 − Σ min(p,q) 代入，第二项正好化简为 max(0, p(x) − q(x))，两项相加就是 p(x)。

按 Algorithm 1 的接受/拒绝路径展开；论文在 Appendix A.1 给出同一结论。浮点实现是数值等价，不是逐位相同。

接受率本身也有闭式。对固定的前缀，draft 样本被接受的概率是 β = Σx min(p(x), q(x))；把不同前缀上的 β 取期望，就得到论文的 α = E[β]（Theorem 3.5、Corollary 3.6）。当 p=q 时 α=1；当两个分布支撑不交时 α=0；一般情况下 α 衡量 draft 与 target 的重叠程度，而不是“draft 的 argmax 命中率”。

编号按 arXiv v2：Definition 3.1 定义 β；Theorem 3.5 给出 β 的表达式；Corollary 3.6 给出 α；Eq. (1) 给出期望 token 数；Theorem 3.8 给出 walltime。v2 没有 Theorem 3.1。

这个规则对 draft 模型没有限制：q 可以是小 Transformer、n-gram、suffix 树，或 EAGLE 的特征级 draft；只要 q 能给出每个候选 token 的概率，接受/拒绝就能把分布修正回 p（§3.6）。代价是 q 的概率必须在目标模型验证时可用；如果只保留 draft 的 argmax，接受规则会退化成一种特殊情形，而不是一般形式。

读完这节你应该知道：α、γ、c 三个量如何决定 E 和 S，以及为什么“更多 draft token”可能让加速比变负。

先看一次目标模型调用能产出多少 token。设 γ 个 draft 位置中接受的数量为 n，输出 token 数为 N = n + 1（修正 token 或 bonus token 至少有一个）。在“各位置独立、接受率同为 α”的简化下，P(n ≥ k) = αk，所以 E[N] = Σk=0γ αk，即论文的 Eq. (1)。

Eq. (1)：一次 Algorithm 1 调用生成的期望 token 数；α=1 时取极限 γ+1。

再看成本。设目标模型一次 forward 的耗时是 T，draft 模型一次 forward 的耗时是 cT；一次 speculative step 要跑 γ 次 draft 和 1 次目标模型（并行验证假设 γ+1 个目标位置不增加 walltime），总成本是 (γc + 1)T，产出 E[N] 个 token。因此理论 walltime 加速比是：

Theorem 3.8；c = 单次 draft forward / 单次 target forward。§3.3 称，在 Mq 比 Mp 小约两个数量级的设置下 c 始终 <0.05、通常接近 0；但 Table 4 中 T5-large 的 c=0.11。

这个式子给出三条边界。第一，c ≈ 0 时 S = E[N]，上界是 1/(1−α)；n-gram 的 c 接近 0，所以即使 α 只有 0.2，也能有约 1.25× 的加速（§3.6）。第二，S > 1 等价于 c < α(1+α+…+αγ−1)/γ；右边不超过 α，所以 α < c 时所有 γ 都不划算。第三，即使 α 略高于 c，γ 太大也会让分母 1+γc 线性增长，把 S 拉回 1 以下；最优 γ 需要按 Figure 3 数值搜索。

读完这节你应该知道：draft→verify→accept 的数据流，vLLM 的 n-gram / draft model / EAGLE 路径，以及 speculative token 在 KV Cache 里怎么记账。

vLLM 的验证路径与这个数据流对应：scheduler 把每个请求的 draft token 放进 scheduled_spec_decode_tokens；SpecDecodeMetadata 把 batch 内的 draft token 拉平，target_logits_indices 和 bonus_logits_indices 指向需要验证的位置与 bonus 位置（vllm/v1/spec_decode/metadata.py:10-24）。rejection sampler 按 cu_num_draft_tokens 逐请求扫描，输出 accepted + recovered + bonus（vllm/v1/sample/rejection_sampler.py:50-69,432-440,525-535）。

源码对照：vLLM e740bad；vllm/v1/spec_decode/ 的 V1 proposer，以及 docs/features/speculative_decoding/ 的 §Method Selection。V2 的 speculator 在 vllm/v1/worker/gpu/spec_decode/，配置面相同。

命令行入口是 --speculative-config（别名 -sc），或三个快捷参数 --spec-method、--spec-model、--spec-tokens；快捷参数与 JSON 里的同名 key 互斥（vllm/engine/arg_utils.py:1895-1899,2142-2148）。旧写法 --speculative-model / --num-speculative-tokens 已弃用（docs/features/speculative_decoding/draft_model.md）。

vllm serve <target-model> \
  --speculative-config '{
    "method": "draft_model",
    "model": "<draft-model>",
    "num_speculative_tokens": 5
  }'

KV Cache：为 γ 个 draft 位置预留，拒绝后逻辑回滚

目标模型验证时，一次 forward 会为 prefix + x1…xγ 的所有位置写 KV；因果注意力保证每个位置只看到前面的 token，所以 γ+1 个位置的 logits 可以在同一次 forward 里算出。scheduler 为 spec decode 预留 1 + num_spec_tokens + num_lookahead_tokens 个 token 的 block，并按 block size 取整（vllm/v1/core/sched/scheduler.py:376-382）。

采样完成后，scheduler 从 num_computed_tokens 和 num_output_placeholders 中减去 num_rejected（vllm/v1/core/sched/scheduler.py:2430-2447）。这意味着被拒绝的尾部位不再计入“已计算 token”；物理块仍由 KV cache manager 按 block 管理，页面不展开块级回收细节。draft 模型也有自己的 KV Cache；EAGLE 的 lookahead 数等于 num_speculative_tokens，所以它的 KV 预留会随 γ 增长（vllm/v1/worker/gpu/spec_decode/eagle/config.py:56-58）。

指标口径也要分清：vLLM 的 mean_acceptance_length = 1 + num_accepted / num_spec_steps 把 bonus token 算进去，和 Eq. (1) 的 E[N] 同量纲；draft_acceptance_rate = num_accepted / num_draft_tokens 是聚合接受比例，不是论文的 per-position α（vllm/v1/metrics/stats.py:407-409）。

读完这节你应该知道：论文在哪些模型/数据集上测到了什么，以及 Table 2 里最反直觉的两三行。

论文在 T5-XXL 11B 上比较了三种 draft 规模、两个任务和两种采样方式。Table 2 的完整 12 行转录如下；Speed 是相对 T5X 自回归实现的 walltime，条件是单 TPU-v4、batch size 1。

Table 2（Leviathan et al. v2，全表转录）：目标模型 T5-XXL 11B；Mq 为 T5-small 77M / T5-base 250M / T5-large 800M；EnDe = WMT EnDe，CNNDM = CNN/DM；Temp=0 为 argmax，Temp=1 为标准采样。

三个反直觉点：

• draft 更大不等于更快。Table 2 里 T5-large 的 α 高于 T5-small，但 Speed 更低。论文的解释是 T5-small 在 c 与 α 之间取得更好的平衡（§4.1）：更大的 draft 让 α 上升，但 c 也上升，最终 walltime 由两者共同决定。
• temp=0 的接受率和加速比都高于 temp=1。论文在 T5-XXL 上观察到这一点（§4.1）。这是该实验设置下的结论，不是算法要求；随机采样下仍然可以用同一套拒绝采样保持分布。
• c 接近 0 的 n-gram 也能加速。论文报告 EnDe/T5-XXL + bigram 在 α≈0.2、γ=3 时约 1.25×；因为 draft 成本接近 0，E[N] 本身就是加速比，α 低并不自动意味着负加速。

并列证据：Chen et al. 在 Chinchilla 70B 的分布式 serving 上报告 2–2.5× 解码加速（§1）；EAGLE 在 LLaMA2-Chat 70B 上报告 2.7–3.5× latency 加速、吞吐约 2×（§1）。这些数字的模型、硬件、batch size 和数据集与 Table 2 不同，不能直接横向比较；它们说明的是同一条机制在不同 draft 侧实现上都能成立，而不是某个固定倍率。

读完这节你应该知道：speculative decoding 在哪些条件下会失效，以及部署时最先撞到的是哪几个约束。

负加速：α 低、c 高或 γ 过大

由 Theorem 3.8，S > 1 等价于 c < α(1+α+…+αγ−1)/γ。右边不超过 α，所以 α < c 时任何 γ 都无法把 S 拉过 1；即使 α 略高于 c，γ 太大也会让分母 1+γc 线性增长，S 先升后降。论文用 Figure 3 数值搜索最优 γ；Corollary 3.9 给出 α>c 时至少存在 γ=1 的改进，下界是 (1+α)/(1+c)。

Chen et al. 的 Figure 1 也显示：lookahead K 增大后，平均加速比会平台化甚至回退；XSum 在 K=3 时最优，而且延迟方差随 K 增大（§6.3）。这和 Eq. (1) 的饱和、Theorem 3.8 的线性分母是同一件事的两个视角：更多 draft token 带来更高的 E，但也带来更高的验证成本和更大的方差。

draft 模型显存：多一份权重和一份 KV

draft_model 和 EAGLE 都不是“免费”的：它们要多加载一份权重，还要为 draft 的 γ 个位置维护 KV。EAGLE 论文在 FP16 下报告：Vicuna 7B 的最大 batch size 从 8 降到 7（24GB RTX 3090）；LLaMA2-Chat 70B 从 5 降到 4（4×A100 40GB）。论文把这归因于 EAGLE 略高的显存占用和 tree attention 的额外计算（§4.4）。

vLLM 里，draft_tensor_parallel_size 控制 draft 的 TP；DraftModelProposer 当前要求它和 target TP 相同（draft_model.py:64-78）。max_model_len 可以单独限制 draft 的上下文长度（vllm/config/speculative.py:502）。EAGLE 的 num_lookahead_tokens = num_speculative_tokens 还会让 scheduler 为每个请求预留更多 KV block（eagle/config.py:56-58；scheduler.py:376-382）。

batch 变大，收益通常变小

Leviathan 的 Table 2 是 batch size 1、单 TPU-v4 的 latency 数据；它不代表高 QPS 的吞吐。EAGLE 论文在 MT-bench、temp=0 下报告 LLaMA2-Chat 70B 的加速比随 batch size 从 3.01×（bs=1）降到 2.40×（bs=4），吞吐约 1.99×（Table 7）。原因是 batch 越大，目标模型越接近 compute-bound，验证阶段多出来的 γ 个位置不再“免费”。

vLLM 文档的定性表也把 EAGLE 标为“低 QPS 高收益、高 QPS 中高收益”，把 n-gram 标为“低 QPS 低到中收益、高 QPS 中收益”（docs/features/speculative_decoding/README.md §Method Selection）。具体拐点取决于模型、流量、硬件和 draft 质量，不能只看一个倍率。

KV 与采样：两条容易被忽略的口径

KV 方面，验证阶段要为 γ 个 draft 位置写 KV；scheduler 预留 1 + γ + lookahead 个 token 的 block，采样后从 num_computed_tokens 和 num_output_placeholders 中减去 num_rejected（scheduler.py:376-382,2430-2447）。逻辑回滚不等于物理块立刻释放；块仍按 block 管理。draft 模型自己的 KV 也要算进显存预算。

采样方面，论文 §2.2 把 argmax、temperature、top-k、top-p 都折算成“调整后的 p、q”，再套用同一拒绝采样；Table 2 的 temp=0 > temp=1 是 T5-XXL 上的实验观察（§4.1）。vLLM 的实现是另一层：rejection_sample_method 默认 standard，draft_sample_method 默认 greedy；greedy 把 draft 分布当成 one-hot，probabilistic 才保留完整 q 做概率比检验（vllm/config/speculative.py:622,694；docs/features/speculative_decoding/README.md）。不要把“vLLM 默认 greedy draft”直接等同于“target 用 temperature=0”。