MTP：一次预测未来 n 个 token，训练更强，推理还能自投机

读完这节你应该知道：MTP 为什么是训练目标问题，而不是又一个推理加速插件。

标准语言建模在每个位置只监督下一个 token：L1 = −Σt log Pθ(xt+1 | xt:1)（§2，Eq. 1）。 teacher forcing 把 ground truth 喂给模型，模型只需要在局部把下一个 token 的分布拟合好；一条长度为 T 的序列只产生 T 个监督信号，而且每个信号只指向紧邻的下一个位置。 论文的观察是，这种局部目标会让模型抓住局部模式，却不容易学到对后续文本更重要的“选择点”（§1、§5.1）。

推理时的情况不同：没有 ground truth，模型只能沿着自己生成的 token 往前走，早期错误会累积。训练时每步都有正确前缀，推理时没有；这个分布错位是论文在 §5.2 用信息论解释 MTP 的出发点。 在这个视角下，MTP 想改的是模型学到什么表示，而不是解码器怎么调度。

要让这个想法可用，至少有三个约束：训练时间不能线性增长、参数量要能和 baseline 对齐、推理时如果不能加速也不能变慢。后面的「训练与推理」一节会逐条对账。

读完这节你应该知道：Qi et al.、Stern、Medusa、EAGLE 各自做到哪一步，MTP 的空白在哪里。

和 Medusa/EAGLE 的关键区别是层次不同：MTP 改的是预训练目标，额外 head 是训练图的一部分；Medusa/EAGLE 改的是推理时的 draft 机制，主干模型可以冻结，也可以联合微调。 两者可以组合（Gloeckle §2 提到 Medusa-like tree attention；DeepSeek-V3 §2.2 提到复用 MTP 做 speculative decoding），但组合不等于同一件事。

读完这节你应该知道：两个实现的公式、参数怎么对齐，以及为什么 head 的前向/反向顺序会影响显存。

Gloeckle et al.：并行独立 head，共享 unembedding

设共享 trunk 为 fs，第 i 个预测 head 为 fh(i)，共享 unembedding 为 fu。模型在每个位置 t 同时预测未来 n 个 token：

Eq. (2) 与 §2 的分解；i=1 是 next-token head，i>1 是额外 head。所有 head 读同一个 trunk 表示 zt:1。

额外 head 不是线性层：论文的主架构里，每个 head 是一个 transformer 层（Appendix B 另试了 linear head）。所有 head 共享同一个 unembedding 矩阵 fu，因此词表投影的参数量不随 n 线性增长；如果每个 head 都复制一份 unembedding，矩阵形状会是 (d, nV)，在大词表下不可行（Appendix B）。

等参数量比较的做法是：加 n−1 个 head 层，就从 trunk 里减掉 n−1 层（§3）。所以 MTP 模型和 next-token baseline 的总参数量相同，差别在于深度怎么分配，而不是“多了一倍参数”。 这一点在读 Figure 3 的规模趋势时很重要：横轴是总参数量，不是 trunk 深度。

显存：naive 实现物化 n 份 logits，顺序前向/反向把它压回一份

词表大小 V 远大于 hidden dimension d，logits 是显存瓶颈。如果一次把所有 head 的 logits 和梯度都物化，峰值是 O(nV+d)；论文的做法是： 先做 trunk 的前向，然后逐个 head做前向和反向，把梯度累加到 trunk，再释放当前 head 的 logits，只长期保留 d 维的 trunk gradient ∂Ln/∂fs。 峰值降到 O(V+d)，且作者称运行时不增加（§2、Figure 2；训练时间的实测见「训练与推理」一节的 Table S5）。

DeepSeek-V3：顺序因果链，D=1，共享 embedding 与 output head

DeepSeek-V3 的实现和 Gloeckle 的并行 head 不同：它用 D 个顺序模块预测 D 个额外 token，并保留每个预测深度的完整因果链（§2.2）。 第 k 个模块先把上一个深度的表示 hk−1i 与第 i+k 个 token 的 embedding 拼接，过一个线性投影 Mk：

Eq. (21)–(23)，§2.2；k=1 时 h0 是主模型的表示，Emb 与 OutHead 都与主模型共享。

每个深度的 loss 是该偏移上的 cross-entropy；总 loss 是各深度平均后乘权重 λ：

Eq. (24)–(25)，§2.2；DeepSeek-V3 取 D=1（§4.2），即主模型之外只多预测一个 token。

为什么是“顺序”而不是“并行”？看 h′ki 的第二个输入：Emb(ti+k)。k=1 时它吃的是真实的下一个 token 的 embedding，用来预测再下一个 token；k=2 时它吃 h1i 和 Emb(ti+2)，继续往前推。 这样每个深度都保留完整的因果链，深度之间是串行的。DeepSeek-V3 §2.2 明确说，这个因果链的思路和 EAGLE 相似，但 EAGLE 的目标是 speculative decoding，DeepSeek-V3 的目标是训练。

为什么可能有效：作者给的两种解释

Appendix B 的其他排布：causal / anticausal / linear 没有一致胜出

除了并行独立 head，论文还试了三种排布：causal，后面的 head 叠在前面的 head 上；anticausal，先预测最远的 token，再逐步细化到近处；linear head，用单个线性层代替 transformer 层。 Appendix B 称三种变体相对 parallel「showed no significant improvement」；页面只引用这个结论，不展开表内数字。作者的大规模实验采用 parallel。

读完这节你应该知道：显存怎么压、训练时间与「无开销」说法怎么并列、推理侧的自投机加速怎么算。

参数与训练时间：等参数量不是零开销

等参数量比较把 n−1 层从 trunk 移到 head，总参数不变，但训练图多了一些逐 head 的前向/反向调度。论文 §1 称这个架构「no train time or memory overhead」；Appendix C 的 Table S5 则给出相对 next-token 训练的墙钟时间： n=4 在 0.3B 到 13B 的模型上为 1.07–1.22×，n=2 为 1.02–1.07×。 Table S5 的 caption 把这归因于 FSDP 的层权重通信与计算 overlap 丢失，并说如果重新实现可以去掉这部分开销（Appendix C）。 两处口径并列：§1 的「no train time or memory overhead」是贡献表述，Table S5 是当前实现的实测；页面不替它们做进一步解释。

显存侧的收益更明确：naive 物化所有 head 的 logits 是 O(nV+d)，顺序前向/反向把它压到 O(V+d)（§2、Figure 2）。这是一个实现顺序问题，不是模型架构变化；如果训练框架一次性物化所有 head 的 logits，显存仍会按 n 增长。

推理：丢弃是零成本，复用才是加速

Gloeckle et al. 明确说，最基本的推理方式是只用 next-token head，其余 head 全部丢弃（§2）。 DeepSeek-V3 在 §4.5.1 也写得更直接：推理时直接丢弃 MTP 模块，所以带 MTP 和不带 MTP 的对比模型推理成本相同。 这意味着 MTP 的训练收益和推理加速是解耦的：不启用自投机，额外 head 不进入推理图；启用自投机，才把 head 当 draft。

自投机的基本账：用 k 个 head（含 next-token head）一次产生最多 k 个 token，目标模型再做一次验证 forward。设逐位接受率为 α，且各位置独立同分布，则每次 forward 的期望 token 数是 E = 1 + α + … + αk−1 = (1−αk)/(1−α)。 设一次 draft pass 的成本是一次 target forward 的 c 倍，则 walltime 加速比是 S = E/(1+c)。k=1 时 E=1，S≤1；至少要有两个 head 才有加速空间。

这和标准 speculative decoding 的公式是同一个：k 个 MTP head 提供 k−1 个额外草稿，等价于标准投机的 γ=k−1，因此 (1−αk)/(1−α) = (1−αγ+1)/(1−α)。区别在草稿的来源：MTP 的 head 是预训练 jointly 学出来的，不是外挂的 draft model。

读完这节你应该知道：两种 MTP 的数据流，以及 MTP 与 Medusa/EAGLE 在系统里的位置。

图的上半部分是两种训练排布：左边并行 head 都读同一个 trunk 表示，右边顺序链把上一个深度的 hidden state 和偏移 token 的 embedding 拼起来。 下半部分是推理的两条路：只用 next-token head，或把 heads 当 draft 做自投机。两条路的共同点是额外 head 都不参与参数更新之外的事情；区别是第二条路多了一次验证 forward 和接受/拒绝逻辑。

对照表 · 四条路线的位置（依据：Gloeckle §2；DeepSeek-V3 §2.2；Medusa §1、§2.3.1、§3；EAGLE §1、§3）。本表是页面整理，不是原文表号。

读完这节你应该知道：Table 1/Table 4 的具体数字、n 的选择，以及哪些指标回退。

Gloeckle et al.：7B 代码模型上的 n 消融

先看 7B、200B tokens（0.8 epochs）、32k 词表的代码模型。Table 1 的 200B tokens 部分比较 n=1、2、4、6、8，指标是 MBPP、HumanEval、APPS/Intro 的 pass@1/10/100。每问题用 200 个样本，温度为按测试集选的 oracle 温度（Table 1）。

Table 1（Gloeckle et al. v1，节选：200B tokens / 32k 词表）：7B 参数、200B tokens（0.8 epochs）、32k 词表；每问题 200 个样本，pass@k 用 Chen et al. 的估计器；温度为按测试集选的 oracle 温度。313B bytes（0.5 epochs，n=1/8/16/32）与 1T tokens（4 epochs，n=1/4）两部分未转录（本页未使用）。高亮 n=4 表示这一 200B tokens 块内 MBPP/HumanEval 六项最高，APPS/Intro 的 n=6 见正文。

n=4 在 MBPP 和 HumanEval 的六个指标里都高于 n=1：MBPP +3.8 个百分点（33.8 − 30.0）、+2.1（55.9 − 53.8）、+3.2（76.9 − 73.7）；HumanEval +1.2（24.0 − 22.8）、+3.7（40.1 − 36.4）、+4.1（66.1 − 62.0）。 §3.4 原文用「+3.8%」这类写法描述这组差；按 Table 1 的表值，它们是百分点差，页面按点差标注。

n 不是越大越好，也不是固定为 4。APPS/Intro 上 n=6 的 @10/@100 最高，@1 与 n=8 并列 3.5：相对 n=1 是 +0.7（3.5 − 2.8）、+3.0（10.8 − 7.8）、+5.3（22.7 − 17.4）个百分点。论文在 §3.4 说，最优窗口很可能取决于输入数据分布；byte-level 模型的窗口则更稳定。

规模趋势是另一条轴。论文训练了 6 个规模、从 300M 到 13B 参数，每个至少 91B tokens 的代码模型；Figure 3 的结论是：小模型上 MTP 不如 baseline，大模型上反超。Figure 3 的 caption 原话是「worse than the baseline for small model sizes, but outperform the baseline at scale」，所以这条收益不是所有规模都成立。

自然语言：2-token 持平，4-token 在选择题上回退

7B、200B tokens 自然语言模型上，2-token 在 6 个标准 NLP benchmark 上与 next-token baseline 持平，4-token 略回退；Figure 5 的 caption 说更大的模型可能需要才能看到提升。摘要任务上，Figure 6 报告八个摘要基准的平均 ROUGE-L F1：n=2 和 n=4 在 200B 与 500B tokens 两个训练集大小上都高于 baseline，但数据越多，差距越小；个别数据集存在回退（Appendix H）。 GSM8K 更不稳定：200B tokens 时 n=2 高于 baseline，500B tokens 后模式反转，n=4 在整个区间都更差（Appendix I）。

DeepSeek-V3：大 MoE 上的 MTP 消融

DeepSeek-V3 在两个规模上做消融：Small MoE 是 15.7B 总参数 / 2.4B 激活参数、1.33T tokens；Large MoE 是 228.7B / 20.9B、540B tokens。两组的推理成本相同，因为推理时丢弃 MTP 模块（§4.5.1）。

Table 4（DeepSeek-V3 v2，评测行全表转录）：Small MoE = 15.7B total / 2.4B activated，1.33T tokens；Large MoE = 228.7B total / 20.9B activated，540B tokens（3 个 metadata 行在此汇总，未进表）；推理时丢弃 MTP，所以 Baseline 与 w/ MTP 的推理成本相同（§4.5.1）。高亮 HumanEval/GSM8K 是页面标出的代码/数学代表行。

最醒目的是代码：Small MoE 的 HumanEval 从 20.7 到 26.8（+6.1 个百分点），Large MoE 从 44.5 到 53.7（+9.2 个百分点）；GSM8K 在 Small MoE 从 25.4 到 31.4（+6.0），Large MoE 从 72.3 到 74.0（+1.7）。但不是全线涨：MMLU 小模型从 50.0 到 53.3（+3.3），大模型却从 67.5 降到 66.6（−0.9）；NaturalQuestions 小模型从 22.7 降到 22.3（−0.4）；Pile-test 大模型只从 0.658 到 0.657（Table 4）。

自投机：head 越多，tokens/forward 越高，但收益递减

Gloeckle et al. 在 7B 模型上测了 greedy self-speculative decoding。Table S2 报告 Wikipedia、Books、Code 三个 prompt 集，使用 1–4 个 head 的相对加速比与每次 forward 的 token 数；Table S2 的 caption 说，用 k 个 head 时最大加速比就是 k。

Table S2（Appendix A，全表转录）：7B 模型；Wikipedia/Books 用 500B tokens 预训练，Code 用 1T tokens；4200 条 512-token 序列，生成 512 tokens；greedy self-speculative decoding；在最大 batch size 42 下评估，作者称加速比在该设置下不随 batch size 变化（Figure S10）。

Code 上 4 个 head 是 3.05×、3.50 tokens/forward；3 个 head 是 2.54×、2.78；2 个 head 是 1.85×、1.94。 从 2 到 3 再到 4 个 head，加速比的增量在变小，但 tokens/forward 仍在涨；这说明 head 数不是免费的，收益取决于接受率和 draft 成本。论文 §3.2 的正文总结是：代码 3.0×、平均接受 2.5 / 3 个建议，文本 2.7×；8-byte 模型达到 6.4×。

DeepSeek-V3 的推理侧报告更简单：第二 token 的接受率在 85–90% 之间（跨不同生成主题），解码速度达到 1.8× TPS（§5.4.3）。 它没有在 §5.4.3 展开接受/拒绝规则和 tree 结构，所以页面不把它等同于“无损随机采样”的实现；能确认的是论文把它放在 speculative decoding 框架下描述。

并列的推理侧数字：Medusa 与 EAGLE

Medusa 在 Vicuna-7B 上报告 Medusa-1 2.18×、Medusa-2 2.83×（Table 2）；EAGLE 在 LLaMA2-Chat 70B 上报告 2.7–3.5× latency 加速（§1），13B、temperature=0 时是 3.01–3.76×（§4.1）。 这些数字的模型、数据、硬件和 batch size 与 Gloeckle 的 Table S2 不同，不能直接排名；它们说明的是“推理侧 draft 机制”这条路线在不同实现上都能拿到倍数，而不是某个固定加速比。

反直觉点：

• n=4 不是通用最优。APPS/Intro 上 n=6 更高；论文明确说最优窗口可能依赖数据分布（§3.4）。
• 代码收益大于自然语言选择题。2-token 在 6 个 NLP benchmark 上持平，4-token 略回退（Figure 5）；摘要任务平均（八个基准）有提升，但数据越多差距越小，个别数据集会回退（Figure 6、Appendix H）。
• DeepSeek-V3 的 MTP 也不是全线涨。MMLU 大模型 −0.9、NaturalQuestions 小模型 −0.4 个百分点（Table 4）。
• “无训练开销”是贡献表述，不是所有实现的实测。§1 的表述是「no train time or memory overhead」，Table S5 的 n=4 实测是 1.07–1.22×（Appendix C）。

读完这节你应该知道：什么时候别用 MTP，以及哪些问题论文没有回答。

规模：小模型上可能更差

Figure 3 的 caption 直接写了两段：MTP 在小模型上比 baseline 差，在大模型上才反超；论文在 §3.1 把这种「只在规模上有效」列为 MTP 过去被忽视的可能原因。 所以“MTP 一定提升下游”不成立；如果你的模型规模落在 Figure 3 的小端，收益可能为负，至少需要自己的消融。

任务：选择题、GSM8K 和部分语言任务会回退

自然语言的结果是混合的：2-token 在 6 个选择题 benchmark 上与 baseline 持平，4-token 略回退（Figure 5）；摘要任务八个基准的平均 ROUGE-L F1 在 200B/500B tokens 上都高于 baseline，但差距随数据量缩小，个别数据集有回退（Figure 6、Appendix H）；GSM8K 在 200B 时 n=2 更好、500B 后反转，n=4 在整个区间都更差（Appendix I）。 DeepSeek-V3 的 Table 4 也不是全线涨：MMLU 大模型 −0.9 个百分点、NaturalQuestions 小模型 −0.4 个百分点（Table 4）。 推断（依据：Table 4 的点差与 Figure 5 的持平/回退）：MTP 更适合“生成式、代码、需要长程规划”的目标，不适合把选择题/似然指标当作主要目标。

训练开销：实现依赖，且 naive 显存会按 n 增长

§1 的「no train time or memory overhead」是贡献表述；Appendix C 的 Table S5 实测 n=4 为 1.07–1.22×，n=2 为 1.02–1.07×，作者把差异归因于 FSDP 通信/计算 overlap 丢失。 显存侧也一样：顺序前向/反向把峰值从 O(nV+d) 压到 O(V+d)，但如果训练框架一次性物化所有 head 的 logits，峰值仍会按 n 增长（§2）。 这两条都不是“模型架构自动解决”的问题，而是实现约束。

等参数量比较：不是免费参数

Gloeckle et al. 的等参数量做法是加 n−1 个 head 层、从 trunk 减 n−1 层（§3）。这改变了 trunk 的深度；如果直接给 baseline 加 head 而不减 trunk，得到的是更大的模型，不能把增益全部归因于 MTP 目标。 读 Figure 3 和 Table 1 时，要确认比较的是等参数量模型，而不是“MTP 模型更大所以更好”。

最优 n 与推理规则：论文没有给出通用答案

n 的选择依赖数据分布（§3.4），论文在 §7 把“自动选择 n”列为未来工作；DeepSeek-V3 只验证了 D=1（§4.2），更深的顺序 MTP 在 671B 规模上没有在这份报告里展开。 推理侧也有边界：Gloeckle §3.2 的实测是 greedy self-speculative decoding，§7 的结论用「exact inference」描述 3 倍加速；随机采样下的接受/拒绝规则，页面没有从原文获取到展开说明。 DeepSeek-V3 §5.4.3 只报告 85–90% 的接受率和 1.8× TPS，没有展开 rejection sampler 的细节。需要无损随机采样时，应回到 speculative decoding 的接受/拒绝规则自行核对，不能只看“1.8×”。

与 Medusa/EAGLE 的边界

Medusa 的 typical acceptance 不要求输出与目标分布逐点一致（Medusa §2.3.1；实验见 §3.3.2）；EAGLE 在 speculative sampling 框架内改变 draft 侧（§1、§3）。MTP 的训练收益不依赖这两者，推理复用也不等于它们：MTP 的 head 是预训练的一部分，Medusa/EAGLE 的 draft 是后加的。 如果目标是“训练一个更强的 base model”，优先看 MTP；如果目标是“在不改训练的情况下给已有模型加速”，优先看 Medusa/EAGLE。两者可以组合，但需要分别验证。