来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。一个训练阶段的多 token 预测技巧。

一句话

传统 LLM 每个位置只预测下一个 token（next-token prediction）。MTP 在每个位置加几个小的 head（线性层），同时输出 t+1..t+k 的 logits，对所有偏移的 cross-entropy 求和（论文推荐 k=4）。