vllbc022025-2026 LLM 架构对比
2025-2026 大型 LLM 架构对比
整理自 Sebastian Raschka 的 The Big LLM Architecture Comparison（最后更新于 2026 年 4 月 2 日）。原文以架构为主线，扫描了 23+ 个 2025-2026 年发布的主流开源 LLM。本文按模型族拆成多份笔记，每篇都包含关键技术点、对应原图与索引。
总览
文章开头的一张图囊括了 2025-2026 年开源 LLM 的主要架构变化趋势：从 GPT-2 到 DeepSeek V3 / Llama 4，骨架仍惊人相似——结构性的”大变化”其实不多，更多是细节打磨。
Figure 1: A subset of the architectures covered in this article.
作者关注的核心问题是：哪些架构上的小修小补真的有用？例如：
- 位置编码：absolute → RoPE
- 多头注意力：MHA → GQA（甚至 MLA）
- 激活函数：GELU → SwiGLU
- MoE 在 2025 年大规模回潮
23 个模型 / 系列笔记
按原文顺序，每篇都是一个独立笔记：
| # | 模型 / 系列 | 笔记 | 关键创新点 |
|---|---|---|---|
| 1 | DeepSeek V3 / R1 | [[DeepSeek V3 系列]] | MLA、MoE + shared expert |
| 2 | OLMo 2 | [[OLMo 2]] | Post-Norm、QK-Norm |
| 3 | Gemma 3 / 3n | [[Gemma 系列]] | 滑动窗口注意力、Pre+Post-Norm、PLE |
| 4 | Mistral Small 3.1 | [[Mistral 系列]] | 放弃滑动窗口、推理优化 |
| 5 | Llama 4 | [[Llama 4]] | 交替 MoE + dense |
| 6 | Qwen3 (Dense / MoE) | [[Qwen3 系列]] | dense 与 MoE 并存 |
| 7 | SmolLM3 | [[SmolLM3]] | NoPE（每 4 层） |
| 8 | Kimi K2 / K2 Thinking | [[Kimi 系列]] | 1T 参数、Muon optimizer |
| 9 | GPT-OSS | [[GPT-OSS]] | 滑动窗口 + 注意力 bias + attention sinks |
| 10 | Grok 2.5 | [[Grok 2.5]] | 少量大专家、类共享专家 |
| 11 | GLM-4.5 | [[GLM 系列]] | 3 层 dense + MoE、共享专家 |
| 12 | Qwen3-Next / Coder-Next | [[Qwen3 系列]] | Gated DeltaNet + Gated Attention、MTP |
| 13 | MiniMax M2 | [[MiniMax M2]] | per-layer QK-Norm、Partial RoPE |
| 14 | Kimi Linear | [[Kimi 系列]] | KDA、channel-wise gating |
| 15 | Olmo 3 Thinking | [[OLMo 2#Olmo 3 Thinking]] | Post-Norm、YaRN、滑动窗口 |
| 16 | DeepSeek V3.2 | [[DeepSeek V3 系列#DeepSeek V3.2]] | Sparse Attention |
| 17 | Mistral 3 | [[Mistral 系列]] | 复用 DeepSeek V3 架构 |
| 18 | Nemotron 3 Nano / Super | [[Nemotron 3]] | Mamba-Transformer 混合、latent MoE |
| 19 | Xiaomi MiMo-V2-Flash | [[Xiaomi MiMo]] | 激进滑动窗口 (size=128) |
| 20 | Arcee AI Trinity Large | [[Arcee Trinity Large]] | 3:1 SWA、NoPE、深度缩放 sandwich norm |
| 21 | GLM-5 | [[GLM 系列]] | 744B、MLA + DSA |
| 22 | Feb 2026 速览 | [[Feb 2026 LLM 新发布]] | 10+ 个模型 |
| 23 | Gemma 4 | [[Gemma 系列#Gemma 4]] | V=K 共享、p-RoPE |
关键技术概念笔记
这些是跨模型反复出现的机制，独立成笔记方便查阅：
- [[MLA（Multi-Head Latent Attention）]] — DeepSeek 系的核心 KV 压缩方案
- [[MoE（Mixture of Experts）]] — 2025 年最热趋势
- [[QK-Norm]] — 稳定训练的常见手段（OLMo、Gemma 3、MiniMax M2 等）
- [[Post-Norm vs Pre-Norm]] — Normalization 位置选择
- [[滑动窗口注意力（Sliding Window Attention）]] — Gemma 3、GPT-OSS、Mistral 等
- [[NoPE（No Positional Embedding）]] — SmolLM3、Arcee Trinity 等
- [[Gated DeltaNet]] — 线性注意力变体，Qwen3-Next / Kimi Linear 用
- [[KDA（Kimi Delta Attention）]] — channel-wise gating 的 KDA
- [[MTP（Multi-Token Prediction）]] — 训练信号增强
- [[Partial RoPE]] — MiniMax 系的做法
- [[Attention Sinks]] — 长上下文稳定手段
- [[Latent Experts]] — Nemotron 3 Super 的 MoE 改造
线性注意力的兴起（贯穿全文）
2025 下半年有一个清晰的趋势：用线性注意力替代 O(n²) 的标准注意力，又保持一定的全局注意力来弥补精度损失。
- 2025/06：MiniMax M1（lightning attention）
- 2025/08：Qwen3-Next（Gated DeltaNet + Gated Attention 3:1）
- 2025/09：DeepSeek V3.2（DeepSeek Sparse Attention）
- 2025/10：Kimi Linear（KDA + MLA 3:1）
- 2025/12：Nemotron 3（Mamba-2 + MoE + 少量 attention）
但作者也指出：MiniMax M2 反而放弃了 M1 的线性注意力，回到 full attention——线性注意力在推理 / 多轮对话 / agentic 场景下表现欠佳。这让”线性注意力是否能落地”暂时成疑，而 Kimi Linear 算是给出了有竞争力的回应。
一些观察
- MoE 已经不再是少数派：DeepSeek V3、Llama 4、Qwen3 MoE、Mistral 3、Kimi K2、MiniMax M2、Nemotron 3、Xiaomi MiMo、Arcee Trinity、GLM-5、Gemma 4 MoE……几乎所有旗舰都给了 MoE 版本。
- 架构层面的”小改进”很密集：QK-Norm、滑动窗口、NoPE、Partial RoPE、attention sinks、latent expert、shared expert、post-norm……这些都不是颠覆性创新，但叠加后能稳定拿到质量 / 效率收益。
- 共享专家仍有争议：Qwen3 放弃了共享专家（认为对推理优化不利），DeepSeek V3 保留，Qwen3-Next 又加回来——团队之间没有共识。
- 滑动窗口的”激进”程度差异大：Gemma 3 是 1024，Xiaomi MiMo 是 128，Arcee Trinity 是 4096。
- 稀疏度差异巨大：从 4.37%（MiniMax M2）到 9.36%（Qwen3 235B）到更高（Grok 2.5 / Nemotron 3）。
原文引用
Last updated: Apr 2, 2026 (added Gemma 4 in section 23)
“It has been seven years since the original GPT architecture was developed. … beneath these minor refinements, have we truly seen groundbreaking changes, or are we simply polishing the same architectural foundations?”