Qwen3 系列：
把 thinking 和 non-thinking 装进同一套权重

Qwen2.5 与 QwQ 是两条产品线；Qwen3 要把两种行为、以及思考长度控制，压进同一套权重。

Qwen3 之前，开源模型通常用两条产品线覆盖两类请求：Qwen2.5 负责通用对话，QwQ 负责多步推理。 用户要在两者之间切换，部署方要维护两套权重和两套推理配置（§1）。

合并的难点不在注意力结构。Qwen3 仍然用 GQA、SwiGLU、RoPE 和 pre-norm RMSNorm； 真正的改动是让同一套权重在两种行为之间切换，并且让用户在推理中途按 token budget 截断思考（§1、§4.3）。

第三个约束是尺寸覆盖：Qwen3 要同时发布 6 个 dense 和 2 个 MoE。 如果每个尺寸都独立跑完 reasoning RL，训练成本会随尺寸增长； Qwen3 的选择是只让 32B/235B 走完四段，其余尺寸向它们蒸馏（§4.5）。

Qwen3 的改动可以拆成三处：模式融合、蒸馏替代小模型 RL、MoE 去掉 shared expert。

Qwen3 保留 Qwen2.5 的 GQA、SwiGLU、RoPE、pre-norm RMSNorm； 改动是移除 Qwen2 使用的 QKV-bias、加入 QK-Norm（§2）。这些是稳定性改动，注意力仍是 GQA。

• QKV-bias：Qwen3 移除 Qwen2 使用的 QKV-bias，加入 QK-Norm，论文给出的理由是稳定训练（§2）。
• MoE 专家：沿用 Qwen2.5-MoE 的 fine-grained expert segmentation，但把 shared expert 去掉；128 个总专家、每 token 激活 8 个（§2、Table 2）。
• 负载均衡：用 global-batch load balancing loss 鼓励专家 specialization；本页未获取 shared expert 的消融数据，不替它补因果（§2）。
• tokenizer：沿用 Qwen 的 byte-level BPE，词表 151,669（§2）。

四段里前两段只练 thinking，第三段才引入 non-thinking；模式切换靠模板，不靠两套权重。

Stage 1 · Long-CoT 冷启动：学格式，不追分数

数据覆盖数学、代码、逻辑推理和通用 STEM。先用 Qwen2.5-72B-Instruct 过滤掉不易验证、含多个子问题、或不用 CoT 就能答对的 query， 再用 QwQ-32B 为每个 query 生成 N 个候选，按答案错、重复、明显猜测、thinking 与 summary 不一致、语言混用、与验证集过近等标准过滤。 目标是让模型学会推理格式，而不是在这一步把分数拉满，所以论文倾向压小样本数和训练步数（§4.1）。

Stage 2 · Reasoning RL：用可验证 reward 把数学和代码拉起来

query-verifier 对要满足：未在冷启动用过、冷启动模型可学、尽量难、覆盖多个子域。 最终收集 3,995 对，用 GRPO 更新。训练上用大 batch、每个 query 多次 rollout、off-policy 提高样本效率，并控制熵稳定； 170 步内，Qwen3-235B-A22B 的 AIME'24 从 70.1 升到 85.1（§4.2）。

Stage 3 · Thinking Mode Fusion：同一套权重，两种回答格式

做法是在 Stage 2 模型上继续 SFT：thinking 数据用 Stage 2 模型对 Stage 1 query 做拒绝采样生成，避免额外的 SFT 把 Stage 2 的能力冲掉； non-thinking 数据覆盖代码、数学、指令跟随、多语言、创意写作、问答和角色扮演，并用自动 checklist 评质量；低资源语言还提高了翻译任务比例（§4.3）。

模式切换靠 chat template：thinking 样本在 user query 或 system message 里带 /think，non-thinking 带 /no_think； non-thinking 的 assistant 回复保留一个空的 <think></think> 块，保证格式一致。 默认是 thinking，所以训练里也有不带 flag 的 thinking 样本；多轮对话随机插入多个 flag，模型跟最后一个走（§4.3、Table 9）。

Table 9（Qwen3 技术报告）：thinking 与 non-thinking 的 SFT 模板，按原文转录、换行省略；原文说明 thinking 模式下 /think 可省略，因为它是默认行为。

Budget 控制不是单独训练的模块。模型在 Stage 3 学会两种模式后，论文发现它也能处理“思考到一半”的输入： 当思考长度达到用户阈值，就手动插入一句停止指令，让模型基于已有推理直接给答案。停止指令的核心是 Considering the limited time by the user, I have to give the solution based on the thinking directly now.</think>.； 论文明确说这个能力没有被显式训练，是 Thinking Mode Fusion 的自然结果（§4.3）。

Stage 4 · General RL：补通用、指令和 agent；Stage 3 已回退，Stage 4 继续小幅回退

奖励系统覆盖 20+ 个任务，目标是指令跟随、格式跟随、偏好对齐、agent 能力和 RAG 等专项场景； 奖励分 3 类：规则奖励、带参考答案的模型奖励、不带参考答案的模型奖励（§4.4）。 agent 任务的 rollout 允许模型与真实环境做完整多轮交互，用执行反馈训练长程决策（§4.4）。

先把通用能力堆到 30T+，再用 5T 高质量数据补 reasoning，最后用长上下文阶段把训练窗口拉到 32K；MoE 的稀疏度决定每 token 的算力。

预训练数据 36T tokens、119 种语言和方言；相比 Qwen2.5，token 数是 2 倍、语言数是 3 倍。 PDF 文本用 Qwen2.5-VL 识别、Qwen2.5 精炼；合成数据来自 Qwen2.5、Qwen2.5-Math、Qwen2.5-Coder； 30T+ tokens 做了教育价值、领域、安全等多维标注，数据配比在 instance 级做消融（§3.1）。

§3.2（Qwen3 技术报告）：三阶段预训练。长上下文阶段的 token 数原文只写 hundreds of billions，本页不补具体值；总预训练量见 §3.1 的 36T。

结构上 Qwen3 没有换注意力：dense 模型沿用 GQA、SwiGLU、RoPE、pre-norm RMSNorm，移除 Qwen2 的 QKV-bias、加入 QK-Norm； MoE 模型沿用 Qwen2.5-MoE 的 fine-grained expert segmentation，128 个总专家、每 token 激活 8 个，并移除 shared expert； 训练用 global-batch load balancing loss（§2）。

Table 1（Qwen3 技术报告）：dense 模型。Tie Embedding 表示输入/输出 embedding 是否共享。

Table 2（Qwen3 技术报告）：MoE 模型；两个模型的专家数都是 128 总 / 8 激活。

稀疏度的账要分开算。235B-A22B 每 token 激活 22B，占总参数 235B 的 9.4%； 30B-A3B 是 3B/30B = 10.0%。专家维度只激活 8/128 = 6.25%， 低于参数激活比例，因为 attention、embedding 等非专家参数始终参与（推断，由 Table 3/5（或 §2）的总/激活参数与 Table 2 的专家数反推）。

论文的比较口径是：Qwen3 MoE base 用 1/5 激活参数达到 dense 水平； 用 不到 1/2 激活参数超过 Qwen2.5 MoE；用 1/10 激活参数接近 Qwen2.5 dense。 这些是原文的比较，不是本页复算。

上下文长度在 Table 1 里分两档：0.6B/1.7B 是 32K，其余 dense 和两个 MoE 是 128K。 长上下文阶段本身只训到 32,768；推理时的 4× 扩展靠 YARN 和 Dual Chunk Attention（§3.2）。

自己动手：蒸馏省下的 GPU 小时，换来了多少分

Table 21 的对照从同一个 off-policy 蒸馏 8B checkpoint 出发，只比较数学和代码 query。 点方法、再点基准，看分数和 GPU 小时。

Table 21（Qwen3 技术报告）：Qwen3-8B；括号内为 pass@64；GPU hours 是数学与代码查询的对比，起点同为 off-policy 蒸馏 checkpoint（§4.7）。

旗舰 32B/235B 走 cold start → reasoning RL → mode fusion → general RL；0.6B–14B 与 30B-A3B 走 off-policy → on-policy 蒸馏。

§4.1–4.5（Qwen3 技术报告）：后训练各阶段的输入、目标与关键做法；四段只用于 32B/235B，蒸馏用于 0.6B/1.7B/4B/8B/14B/30B-A3B。

先看 base，再看 post-trained；每个数字都带模式、采样次数和对比对象。

Base：235B-A22B 在 15 个基准里 14 个超过 DeepSeek-V3-Base

例外是 INCLUDE：73.46 vs 75.17，低 1.71 个百分点（Table 3、§3.3）。 评测口径是 MMLU 5-shot、MMLU-Pro 5-shot CoT、MATH 4-shot CoT、EvalPlus 0-shot、INCLUDE 5-shot（§3.3）。

Table 3（Qwen3 技术报告）：base 模型对比；仅转录本页用到的 5 行；Qwen2.5-72B、DeepSeek-V3、Qwen3-235B-A22B 均为 Base。

对 DeepSeek-V3-Base，MMLU 87.81 vs 87.19（+0.62 个百分点）、 MMLU-Pro 68.18 vs 59.84（+8.34）、MATH 71.84 vs 62.62（+9.22）、 EvalPlus 77.60 vs 63.75（+13.85）。参数账是 235B 总 / 22B 激活对 671B 总 / 37B 激活。

Thinking：AIME 领先 R1，但 GPQA 和 INCLUDE 没有

对 DeepSeek-R1：AIME'24 85.7 vs 79.8（+5.9 个百分点）、 AIME'25 81.5 vs 70.0（+11.5）、LiveCodeBench v5 70.7 vs 64.3（+6.4）、 BFCL v3 70.8 vs 56.9（+13.9）。 论文的 headline 是 17/23 个基准优于 R1；但 GPQA-Diamond 71.1 vs 71.5（-0.4）、 INCLUDE 78.7 vs 82.7（-4.0）是反例。

Table 11（Qwen3 技术报告）：Qwen3-235B-A22B（Thinking）对比 DeepSeek-R1；仅转录本页用到的 6 行；AIME 每题采样 64 次取平均，GPQA 采样 10 次（§4.6）。

Non-thinking：Arena-Hard 领先，IFEval 反而低

对 GPT-4o-2024-11-20：Arena-Hard 96.1 vs 85.3（+10.8 个百分点）、 AIME'24 40.1 vs 11.1（+29.0）、GPQA-Diamond 62.9 vs 46.0（+16.9）。 对 DeepSeek-V3：Arena-Hard 96.1 vs 85.5（+10.6）、AIME'24 40.1 vs 39.2（+0.9）、 GPQA 62.9 vs 59.1（+3.8）。 论文说它在 18/23 个基准上超过 GPT-4o；但 IFEval 83.2 vs 86.5（-3.3）、 INCLUDE 75.6 vs 78.8（-3.2）不是。

Table 12（Qwen3 技术报告）：Qwen3-235B-A22B（Non-thinking）对比 GPT-4o 与 DeepSeek-V3；仅转录本页用到的 6 行；采样设置见 §4.6。

Stage 3/4 的得失：通用/对齐多数上升，数学和代码回退

Table 22 把 Qwen3-32B 的三段拆开。Stage 3 的收益主要在通用/对齐：CounterFactQA 50.4 → 61.3（+10.9 个百分点）、 IFEval 73.0 → 78.4（+5.4）；Stage 4 把 ThinkFollow 88.7 → 98.9（+10.2）、 ToolUse 70.4 → 85.5（+15.1 个百分点）。 代价在数学/代码：AIME'24 83.8→81.4（相对 Stage 2 -2.4；Stage 3 已 -1.9，Stage 4 再 -0.5）； LiveCodeBench v5 68.4→65.7（相对 Stage 2 -2.7；Stage 3 -1.2，Stage 4 -1.5）。 论文把这归因于通用任务变宽，并明确选择接受（§4.7）。注意：正文里 Stage 4 的差值是相对 Stage 3；页面下方交互统一以 Stage 2 为基线，两者口径不同。

Table 22（Qwen3 技术报告）：Qwen3-32B 在 Stage 2/3/4 的 thinking 结果；仅转录本页用到的 8 行；原文 Stage 2 没有 non-thinking 列，ThinkFollow 在 Stage 2 为 -（未测）。

Long context：thinking 模式在 RULER 上反而更低

RULER Avg：235B non-thinking 95.0 vs thinking 92.2； 32B non-thinking 93.7 vs thinking 91.0。 128K 分段的差距更大：235B 90.6 vs 86.0，32B 85.6 vs 83.5（Table 23）。

Table 23（Qwen3 技术报告）：RULER；仅转录 Qwen3-235B-A22B / 32B 的 4 行；Avg 是 4K–128K 的平均，thinking 与 non-thinking 分开评测。

Thinking budget 的效果是 scalable and smooth（原文措辞，页面转述为持续上升）：论文在数学、代码、STEM 基准上拉长 budget，分数平滑上升； 但原文只给曲线，没有逐点表，本页不转录坐标（Figure 2、§4.7）。论文同时说，超过 32K 输出长度未覆盖，留作 future work。

把 Qwen3 当成一个统一模型之前，先确认尺寸、模式、上下文和评测口径。

• 尺寸分叉：0.6B/1.7B/4B/8B/14B 和 30B-A3B 走 strong-to-weak 蒸馏；32B/235B 走四段。小模型的能力来自教师，不是自己跑完四段 RL。
• 模式能力是学出来的，budget 截断是涌现的：论文明确说它没有被显式训练（§4.3）。不要假设任意模型、任意 budget 下都能稳定截断。
• thinking 不总是更好：RULER 235B 95.0 → 92.2、32B 93.7 → 91.0；GPQA/INCLUDE 也有 thinking 低于基线（Table 11、Table 23）。
• Stage 3/4 有代价：AIME'24 83.8 → 81.4、LiveCodeBench 68.4 → 65.7（Table 22）；Stage 3 已回退，Stage 4 继续小幅回退。论文接受这个 trade-off（§4.7）。
• 蒸馏证据的范围：Table 21 只比较 8B 学生、数学与代码 query；不能外推到所有尺寸、所有任务（§4.7）。
• 上下文分档：0.6B/1.7B 是 32K，其余是 128K；长上下文阶段本身只训到 32,768，128K 靠推理扩展（§3.2、Table 1）。
• Qwen3-Next / Coder-Next 是另一条线：Qwen3-Next 用 Gated DeltaNet + Gated Attention 3:1、 512 专家 / 10 激活 / 1 shared、15T tokens、 262,144 原生上下文；Coder-Next 基于 Qwen3-Next，80B/3B、 256K。这些数字不属于 Qwen3 主报告。

Qwen3-Next 的总专家数是 Qwen3-MoE 的 512 / 128 = 4 倍（本页复算），并且包含 1 个 shared expert； 它和 Qwen3 的 128 专家 / 无 shared expert 是两套设计，不能把 512 专家的稀疏度直接套到 Qwen3-235B-A22B 上（Qwen3-Next §Model Overview、§2）。

系列谱系。Qwen3 的数字来自 Table 1/2/3/5；Qwen3-Next 来自官方 HF 模型卡 §Model Overview（读取于 2026-11-06）； Qwen3-Coder-Next 的 80B/3B 来自 arXiv 2603.00729v1 §1；48 层来自官方模型卡 Qwen/Qwen3-Coder-Next 的 §Model Overview；256K 标称来自同一模型卡的 Highlights（Model Overview 与 arXiv §3.1 写 262,144，二者是同一上下文长度）。三份材料的口径不同，不要跨列比较。

什么时候别用

• 需要确定性的思考长度。budget 截断是 Stage 3 的涌现行为，不是可证明的控制器；论文没有给任意 budget 下的稳定性保证（§4.3）。
• 只部署小模型却想要 235B 的 thinking 上限。0.6B–14B 与 30B-A3B 是蒸馏产物，不是四段 RL 的同构缩小版（§4.5）。
• 把 128K 当所有尺寸的默认。0.6B/1.7B 是 32K；长上下文阶段本身只训到 32,768（Table 1、§3.2）。
• 把 Qwen3-Next 的规格当成 Qwen3 的规格。Qwen3-Next 是另一份官方模型卡/报告，专家数、注意力结构和上下文都不同（Qwen3-Next §Model Overview）。