DeepSeek V3 系列（V3 / R1 / V3.2）

原文第 1、16 节。DeepSeek R1（2025 年 1 月）发布后引起极大关注，它是构建在 DeepSeek V3（2024 年 12 月）架构之上的 reasoning 模型。V3.2（2025 年 12 月）则是另一个重要升级，引入了 sparse attention。

关键架构：V3 / R1

V3 是 671B 总参数 / 37B 激活参数的 MoE 模型。两大核心技术：

1.1 [[MLA（Multi-Head Latent Attention）]]

V3 用 MLA 替代了 GQA。MLA 的核心思想是把 K / V 压缩到低维 latent space 再存进 KV cache，推理时再展开——比 GQA 在相同 cache 大小下表现更好（依据 DeepSeek-V2 论文的消融）。

Figure 3: Comparison between MLA (used in DeepSeek V3 and R1) and regular MHA.

Figure 4: Annotated tables from the DeepSeek-V2 paper showing that MLA outperforms GQA.

Q 在训练时也会被压缩，但推理时不压缩（避免额外计算）。

1.2 [[MoE（Mixture of Experts）]]

V3 用 256 个专家 + 1 个共享专家，每 token 路由 8 个专家 + 始终激活 1 个共享专家：

• 总参数 671B，激活 37B
• 共享专家：始终激活，处理常见 / 重复模式，让其他专家腾出 capacity 学更专门的模式

Figure 5: An illustration of the MoE module in DeepSeek V3/R1 (right) compared to a standard FeedForward block (left).

Figure 6: From “DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models” — the shared expert idea.

1.3 小结

• V3 是个巨大但推理高效的模型：activation 只有 37B / 671B
• MLA 替代 GQA 是关键设计选择
• 与 Llama 3 405B 相比，V3 更大但推理便宜得多

DeepSeek V3.2

2025 年 12 月发布，引入 DeepSeek Sparse Attention (DSA)，在不显著损失建模性能的前提下，把长上下文推理成本压低。

Figure 47: A timeline of the DeepSeek model releases since DeepSeek V3.

Figure 48: The DeepSeek model architecture with multi-head latent and sparse attention.

作者把 V3.2 的细节放到了单独一篇长文里：A Technical Tour of the DeepSeek Models from V3 to V3.2

与其他模型的关系

• [[Llama 4]] Maverick 整体结构与 V3 相似，但用 GQA 不用 MLA；MoE 模式是”少量大专家”。
• [[Kimi 系列#8 Kimi K2 / K2 Thinking|Kimi K2]] 是 V3 架构放大到 1T 参数的版本。
• [[Mistral 系列#Mistral 3（2025-12-02）|Mistral 3]] Large 几乎完全是 V3 架构的复刻。
• [[GLM 系列]] GLM-5 学习了 MLA + DSA。

来源

原文：The Big LLM Architecture Comparison, section 1 & 16 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison