MTP - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/mtp/ MTP - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 06 Jun 2026 00:00:00 +0000 MTP（Multi-Token Prediction） https://blog.vllbc.top/mtpmulti-token-prediction/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/mtpmulti-token-prediction/ MTP（Multi-Token Prediction）

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。一个训练阶段的多 token 预测技巧。

一句话

传统 LLM 每个位置只预测下一个 token（next-token prediction）。MTP 在每个位置加几个小的 head（线性层），同时输出 t+1..t+k 的 logits，对所有偏移的 cross-entropy 求和（论文推荐 k=4）。

]]> Qwen3 系列（Qwen3 / Qwen3-Next / Coder-Next） https://blog.vllbc.top/qwen3-%E7%B3%BB%E5%88%97/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/qwen3-%E7%B3%BB%E5%88%97/ Qwen3 系列

原文第 6、12 节。Qwen3 是 2025 年开源模型里”六边形战士”，3 个分支（dense、MoE、Next）覆盖了从 0.6B 到 80B 几乎所有 size 区间。

6.1 Qwen3 Dense

Qwen3 dense 有 0.6B / 1.7B / 4B / 8B / 14B / 32B。0.6B 可能是目前最小的”当代”开源 LLM，本地训练 / 推理都极其方便。

]]>