Qwen3 系列

原文第 6、12 节。Qwen3 是 2025 年开源模型里”六边形战士”，3 个分支（dense、MoE、Next）覆盖了从 0.6B 到 80B 几乎所有 size 区间。

6.1 Qwen3 Dense

Qwen3 dense 有 0.6B / 1.7B / 4B / 8B / 14B / 32B。0.6B 可能是目前最小的”当代”开源 LLM，本地训练 / 推理都极其方便。

与 Llama 3 1B 的对比

Figure 18: An architecture comparison between Qwen3 0.6B and Llama 3 1B; notice that Qwen3 is a deeper architecture with more layers, whereas Llama 3 is a wider architecture with more attention heads.

6.2 Qwen3 MoE

Qwen3 MoE 有 30B-A3B 和 235B-A22B 两种。

• dense 适合：fine-tuning、部署、跨硬件优化
• MoE 适合：固定推理预算下的高 capacity
• 同时提供两种 = 满足不同 use case

与 DeepSeek V3 的对比（Qwen3 235B-A22B）

Qwen3 235B-A22B 与 DeepSeek V3 惊人相似，唯一显著区别是 Qwen3 移除了 shared expert。

Junyang Lin（Qwen3 开发成员）回复：当时没发现 shared expert 带来足够收益，且担心对推理优化的影响——没有”标准答案”。

Figure 19: An architecture comparison between DeepSeek V3 and Qwen3 235B-A22B.

12 Qwen3-Next（2025-09-11）

80B-A3B，Instruct + Thinking 两种变体。比 235B-A22B 小 3×，但专家数 4×，并重新引入了 shared expert（回应作者之前的”未来方向”预言）。

12.1 专家数 vs 专家大小

• 高专家数 + 共享专家 = 论文中证明对训练稳定性 + 最终质量有益
• 这次 Qwen3 把这条路走到底

12.2 [[Gated DeltaNet]] + Gated Attention 混合

Qwen3-Next 的最大亮点：用 Gated DeltaNet（3 层）+ Gated Attention（1 层） 混合 3:1 比例，替代纯 attention。

• 让 262k context 的 memory cost 大幅下降
• DeltaNet = 线性 attention 变体，RNN 风格的 fast-weight delta rule
• Gated Attention = 标准 GQA + 输出 gate + zero-centered RMSNorm for QK + partial RoPE
• 1 层 full attention 保留：弥补 DeltaNet 精度不足（content-based retrieval 不如 full attention）

Figure 35: The original Qwen3 (left) next to the Qwen3 Next (right).

Figure 36: The Gated DeltaNet + Gated Attention hybrid mechanism. Note that these are arranged in a 3:1 ratio.

12.3 [[MTP（Multi-Token Prediction）|MTP]]

每个位置预测 t+1..t+k 个 token（论文推荐 k=4）：

• 训练时：额外的 cross-entropy signal，加速训练
• 推理时：extra heads 可用于 speculative decoding
• Qwen3-Next 的 MTP 还针对多步推理做了优化，spec decode 接受率更高

V3、V3.2、GLM-4.5、MiniMax M2 训练时也用 MTP（作者没在架构对比里展开讲）。

12.4 Qwen3-Coder-Next（2026-02）

80B、3B 激活。SWE-Bench Pro 接近 Claude-Sonnet-4.5。

架构与 Qwen3-Next 80B 完全一致——直接以 Qwen3-Next 为 base 继续训练。

相关笔记

• [[Gated DeltaNet]]
• [[MTP（Multi-Token Prediction）]]
• [[MoE（Mixture of Experts）]]
• [[Kimi 系列]] Kimi Linear —— 同样 3:1 混合
• [[MiniMax M2]] —— 同样用 MTP

来源

原文 section 6 & 12 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison