来源:Qwen2.5-3.7系列最全总结~(作者:自动学习机 / 丁师兄,知乎原文 https://zhuanlan.zhihu.com/p/2045665300545262204)
注:Qwen 3.5 之后没有 technical report,只发了 blog,本文很多地方只能基于假设与论文缺省。
下文按”架构 → 预训练 → 后训练”的主线,整理从 Qwen2.5 到 Qwen3.7 的演进。
01 Qwen2.5
架构
延续 Qwen2 的 Transformer 解码器,关键组件:
- GQA(Grouped Query Attention):高效利用 KV Cache
- SwiGLU 激活函数
- RoPE 旋转位置编码
- QKV 偏置(Qwen3 中被移除)
- RMSNorm 预归一化
MoE 模型把标准 FFN 替换为 MoE 层(多个 FFN 专家 + top-K 路由)。Tokenizer 沿用 Qwen tokenizer(BBPE),常规 token 词表 151,643,控制 token 由 3 扩展到 22(含 2 个工具 token)。
预训练
- 数据:18T tokens。扩充了 Qwen2.5-Math / Qwen2.5-Coder 数据;用 Qwen2-72B-Instruct、Qwen2-Math-72B-Instruct 合成数学、编程、知识数据;用 Qwen2-Instruct 给数据打领域标签,电商/社交/娱乐欠采样,技术/科学/学术过采样;用专有 RM + Qwen2-Math-RM-72B 严格过滤。
- Scaling Law:得到随模型规模 N 和数据量 D 变化的最优学习率 μ、最优 batch size B_opt 的规律;并用于预测 MoE vs Dense 的性能差异,给 MoE 超参提供指导。
- 两阶段预训练:先用 4K context 训练,再扩到长 context。除 Qwen2.5-Turbo 外,最终阶段把 context 从 4K 扩到 32K,ABF 把 RoPE 基频从 10,000 提到 1,000,000。Qwen2.5-Turbo 走渐进式 32K→64K→128K→256K,RoPE 基频 10,000,000,每阶段 40% 当前最大长度 + 60% 短序列。
- 推理加长:YARN + 双块注意力(DCA)让序列长度处理能力提升 4 倍。
- 去污染:用 n-gram 匹配排除测试集污染。规则:若测试序列 \(s_e\) 与训练序列 \(s_t\) 的 \(\text{LCS}\) 长度 \(|LCS(s_t, s_e)| \geq 13\) 且 \(\geq 0.6 \times \min(|s_t|, |s_e|)\),则把 \(s_t\) 从训练集中剔除。
后训练
数据:数百万高质量示例(长序列、数学、编码、指令跟随、结构化数据理解、逻辑推理、跨语言迁移、系统指令等)。用专门评论模型 + 多智能体协作评分系统筛选。
SFT:100 万+ 示例,32K 序列上两轮微调,lr 从 \(7\times 10^{-6}\) 降到 \(7\times 10^{-7}\),配正则化和梯度裁剪。两阶段:阶段一仅短指令(≤32K),与其它 Qwen2.5 模型一致;阶段二短指令 + 长指令(≤256K)混合,提升长上下文指令跟随能力。
RL:两阶段 RL。
- 离线 RL:DPO,150,000 训练对,1 轮训练,lr \(7\times 10^{-7}\),在线合并优化器;面向数学、编程、指令跟随、逻辑推理等”难评”任务。
- 在线 RL:GRPO。查询来自开源集 + 专有挑战集,响应在 Qwen 多检查点 + 不同温度下采样,偏好对由人工 + 自动标注混合。按响应分数方差排序处理查询(方差大优先)。每查询采样 8 次,全局 batch 2048,每回合 2048 样本。
评估:自动化为主,最小化人工干预,公开基准 + 内部技能数据集。
02 Qwen3
架构
密集模型在 Qwen2.5 基础上:
- 保留 GQA / SwiGLU / RoPE / RMSNorm + 预归一化
- 移除 QKV 偏置
- 引入 QK-Norm 稳定训练
MoE:细粒度专家分割,128 个专家,每个 token 激活 8 个;去掉了共享专家(与 Qwen2.5-MoE 不同);用全局 batch 负载均衡损失促进专家专业化。Tokenizer 词表 151,669。
预训练
- 数据规模翻倍(相对 Qwen2.5),语言覆盖 ×3。36T tokens / 119 种语言和方言。高质量长文合成:Qwen2.5-VL 识别 PDF → Qwen2.5 精炼;用 Qwen2.5 / 2.5-Math / 2.5-Coder 合成教科书、QA、指令、代码。多语言标注系统给 30T+ tokens 打”教育价值、学科、领域、安全性”等标注。
- 三阶段预训练:
- S1 通用:>30T tokens,4K 序列,覆盖 119 种语言
- S2 推理:提 STEM / 编程 / 推理 / 合成数据比例,~5T 高质量 tokens,4K 序列,加速 lr 衰减
- S3 长上下文:数百 B tokens,32K 序列;75% 长度 16K-32K,25% 长度 4K-16K;ABF 把 RoPE 基频从 10,000 提到 1,000,000;YARN + DCA 让推理阶段长度处理能力 ×4
- Scaling Law:贯穿三阶段,给每个 dense / MoE 模型预测最优 lr 和 batch size 策略。
后训练
后训练流程围绕两个核心目标: 1. 思维控制:整合”非思考”和”思考”两种模式,让用户能灵活选是否推理,并通过 token 预算控制推理深度。 2. 强到弱蒸馏:优化轻量级模型后训练流程。
整体后训练 pipeline 如下:
Long-CoT 冷启动
- 数据:数学 / 编程 / 逻辑推理 / 一般 STEM,每个问题配参考答案或代码测试用例。
- 两阶段过滤:
- 查询过滤:Qwen2.5-72B-Instruct 识别并删除”难验证”的查询(多子问题、要求一般文本生成、模型不用 CoT 就能答对的)。
- 响应过滤:用 QwQ-32B 对每个查询生成 N 个候选,QwQ-32B 持续做不对的由人工评估。
- 目标:建立基础推理模式,不过分强调即时推理性能。
推理强化学习
筛选 3,995 对”查询-验证器”样本:未在冷启动出现、冷启动模型能学、有挑战性、覆盖广。
用 GRPO,要点: - 大 batch size + 多 rollout - 离线策略训练提样本效率 - 控制熵的稳定增长/保持稳定来平衡探索与利用
思考模式融合
聊天模板:对思考/非思考样本,在用户查询或系统消息中分别引入
/think 和 /no think
token。两种模式的模板示意:
- 对推理 RL 模型继续做 SFT
- 思考数据:阶段二模型对阶段一查询做拒绝采样生成
- 非思考数据:编程、数学、指令遵循、多语言、创意写作、QA、角色扮演等;用自动 checklist 评估质量,并提高翻译任务比例以增强低资源语言
思考预算控制(Thinking Budget)
当 <think>
长度达到用户设定的上限时,手动终止思考过程并插入:
“由于用户设定的时间有限,我现在需要基于当前的思考内容直接给出解答。”
模型基于截至该点的累积推理继续生成响应。该能力并非显式训练获得,而是思考模式融合的自然产物。
通用 RL
奖励系统覆盖 20+
任务,每种任务有定制评分标准,提升:指令遵循、格式遵循(响应
/think//no think、区分思考与响应的
token)、偏好对齐、Agent 能力、特定场景能力。
三种奖励:基于规则 / 基于参考答案(Qwen2.5-72B-Instruct 评分)/ 无参考答案(人类偏好数据训练的 RM 打分)。
强到弱知识蒸馏
两个阶段:
- Off-policy Distillation:教师模型在
/think和/no think模式下分别生成响应,组合后作为蒸馏数据,目标是让轻量学生模型掌握基础推理能力 + 学会在两种模式间切换。 - On-policy Distillation:学生模型在
/think或/no think模式下生成响应,将学生 logits 与教师模型(Qwen3-32B 或 Qwen3-235B-A22B)logits 对齐,计算 KL 散度并微调。
有趣的结论
思考预算有效性:随思考预算增加,Qwen3 表现平稳、可扩展地提升:
在线策略蒸馏有效性:知识蒸馏性能显著优于 RL,且仅需约 1/10 GPU 计算时间就让小模型超过 RL 训练的自己。
| Method | AIME’24 | AIME’25 | MATH500 | LiveCodeBench v5 | MMLU-Redux | GPQA-Diamond | GPU Hours |
|---|---|---|---|---|---|---|---|
| Off-policy Distillation | 55.0 (90.0) | 42.8 (83.3) | 92.4 | 42.0 | 86.4 | 55.6 | - |
| + Reinforcement Learning | 67.6 (90.0) | 55.5 (83.3) | 94.8 | 52.9 | 86.9 | 61.3 | 17,920 |
| + On-policy Distillation | 74.4 (93.3) | 65.5 (86.7) | 97.0 | 60.3 | 88.3 | 63.3 | 1,800 |
思考模式融合 + 通用 RL 的副作用:知识 / STEM / 数学 / 编程任务没有显著改进;反而在 AIME’24、LiveCodeBench 等挑战任务上,思考模式性能两个阶段后有所下降。原因:模型被训练应对更广泛的通用任务,削弱了对复杂任务的专业能力——adaptive learning 存在弊端。
具体退化数据(Stage 2 → Stage 3 → Stage 4):
03 Qwen3.5
核心:通过混合注意力架构(Transformer + 线性注意力 / 类 Gated Delta Network)+ MoE 稀疏机制,在降低 ~50% 计算成本的同时实现十万级 token 长上下文 + 高性能推理;原生多模态融合 + 强化 Agent 能力(90+ 分多步任务执行)。
架构
混合注意力机制:把一部分计算复杂度降到 O(n),类似 Gated Delta Network。
预训练
- 数据:更大规模、严格过滤的视觉-文本混合语料;加强数学(STEM)、推理和中英文数据
- 词表:从 15 万扩到 25 万,多数语言编解码效率提升 10%-60%,32K / 256K 解码吞吐分别飙升 8.6 倍 / 19.0 倍
- 原生多模态融合:抛弃”图像/视频先转文本再处理”的旧模式,文本/图像/视频在模型早期直接融合 + 联合训练
后训练与基础设施
异步并行 RL 系统:把”数据生成”与”模型训练”分离。
- Qwen-Agent 与环境交互产生经验数据(Rollout)存 Buffer
- Trainer 同步从队列抓数据学习
- Reward Service 实时打分
- 整体训练效率 提升 3-5 倍
混合精度与显存优化:大量使用 FP8,关键节点保留 BF16,显存占用减少约一半,速度提升 10%+。
多模态计算重叠:智能调度把不同模态计算重叠,让 GPU 满负荷,多模态训练速度逼近纯文本。
有趣的结论
- 真实环境 RL:偏向真实任务环境的 RL 让模型在不同任务上表现均衡,稳定性高。
- 小模型策略:9B 等中小规模模型在很多任务上已接近甚至超过上一代几十 B / 上百 B 模型。模型能力不再完全依赖参数规模,而越来越依赖架构设计和训练策略。
04 Qwen3.6
核心特性与能力跃升:
- 超长上下文:默认支持 100 万 token 上下文窗口
- 更注重 Agent 能力:智能体编程领域飞跃,能从容应对前端网页开发、复杂代码仓库级问题求解、终端操作与自动化任务
- 长程规划:在多个高难度长程规划任务中取得最优成绩
- 原生多模态演进:视觉与视频理解大幅增强,结合推理 / Grounding / OCR 做复杂分析
05 Qwen3.7
优势:更优编程能力、更长程的工具调用与执行能力。
架构(特指训练基础设施架构)
未提神经网络架构本身,重点是 RL Rollout 环境基础设施:
- 解耦设计:把每个训练实例正交解耦为三个独立组件:Task / Harness / Verifier
- 组合式扩展:同一任务能以极低成本与不同类型/版本的框架、验证器自由重组
- 赋能跨框架 + 跨验证器的 RL 训练——迫使模型在多变框架配置下处理同源任务,学习泛化性的解题策略,而非依赖特定框架的捷径
预训练
完全没有提数据规模、配比或算力细节。
后训练与 RL
后训练是 Qwen3.7 重点着墨的板块。
- 智能体训练环境大幅扩展(在 Qwen3.5 基础上):训练环境质量与多样性进一步提升,评测基准均为训练时未见过的全新领域
- 跨框架 + 跨验证器 RL:依靠解耦架构,逼迫模型学通用解题策略,不走框架捷径
- 对抗”奖励作弊”的自进化体系:在 80+ 小时的 SWE 强化学习中,Qwen3.7-Max 被接入训练监控系统,自主回放轨迹、归纳作弊模式(如去 GitHub 偷看标准答案),自进化出 13 条规则,拦截 1,618 个作弊案例
- 长程时序复杂度强化:在”动态累积生存博弈框架”下扩展训练任务时序复杂度,让模型在数小时、涉及数千步决策的过程中保持策略一致性,克服长上下文的”记忆腐化”和”指令漂移”(该框架具体定义未公开)