九个模型，三本账：
激活参数、KV cache、长上下文

读完这节你应该知道：为什么 2025–2026 的架构比较必须同时看总参数、激活参数和注意力形状，而不能只看一个参数量。

在 dense 时代，参数量同时是容量、每 token 算力和显存占用的近似代理：参数越多，模型越大，训练和推理也越贵。稀疏 MoE 把这三个量拆开了。总参数决定模型能存多少专家、能覆盖多大的知识容量；激活参数只计算每个 token 实际走到的专家；attention 的形状则决定解码时 KV cache 的大小。三者不再同向变化。

这带来三个直接后果。第一，比较两个 MoE 模型时，只看总参数会高估每 token 算力；只看激活参数会低估存储和专家并行的成本。第二，MLA、GQA、banded/full 交替和线性混合都会改变 KV cache 的增长率，同样的 128K context，解码显存可能差一个数量级。第三，标称 context length 只是一个上限，位置编码和注意力窗口才决定这个上限能不能用。

所以本页把架构拆成三本账：参数账、缓存账、上下文账。后面所有模型都按这三本账并列，而不是按「总参数排行榜」排列。

Table 1 · 三本账的分工（本页归纳，不对应单一原文表）

这三本账不是独立的。专家的 intermediate size 会影响参数账，也会影响每 token 的 all-to-all 通信；MLA 的潜维 d_c 会同时影响缓存账和 attention 的 up-projection 开销；位置编码的选择会和 context extension 的训练阶段绑定。把它们分开，只是为了不让一个数字掩盖另一个数字。

读完这节你应该知道：九个主模型不是九个孤立配置，而是三种取舍——用更多总参数换容量、用更少激活参数换算力、用混合注意力换长上下文。

三条路线不是互斥的。Qwen3-Next、Kimi Linear、Nemotron 3 Nano 同时也是稀疏 MoE；Qwen3-235B 是 MoE 但没有 shared expert；DeepSeek-V3 和 K2 是「MLA + 细粒度 MoE」；GLM-4.5 和 MiniMax-M2 在 MoE 之外保留了 full attention。把它们分成三张卡片，是为了看清每个模型主要用哪种手段换效率，而不是给它们贴阵营标签。

读完这节你应该知道：把九个模型拉开差距的，不是某个单点技巧，而是四个可以独立拨动的开关；下面的对照台可以按维度切换。

在拨开关之前，先把九个主模型 + Qwen3-32B dense 参照的逐格数据放在一起：Table 2A 是六个 MoE 旗舰，Table 2B 是三个高效/混合模型加 dense 参照。两张表的每个数字都带单锚点；未获取的格子留「未获取」。

Table 2A · 六个 MoE 旗舰：参数、专家、注意力、归一化、位置编码、上下文、精度、MTP。有值的格子 data-src 指向该模型报告的表/节；「未获取」表示该报告未披露。

Table 2B · 高效/混合 3 个主模型 + Qwen3-32B dense 参照。Qwen3-32B 只作为 dense 基线，不计入「九个主模型」。

读完这节你应该知道：激活参数少不等于 KV cache 小——KV cache 由层数、KV 头数、head dim 和精度决定，和总参数/激活参数不是同一条公式。

训练和推理的算力主要随「每 token 实际参与矩阵乘的激活参数」增长。MoE 每 token 只走 top-k 专家，所以 推断（依据：Table 2A 的激活专家数是 top-4/top-8，激活参数为 5.1B–37B；实际 FLOPs 还受 attention、shared expert 和 EP 通信影响）不能把总参数直接当每 token 算力。反过来，解码阶段的显存瓶颈主要不是权重，而是 KV cache：它随 context 长度线性增长，且每层都要存。

KV cache 的账本只有三个乘数：层数 × 每层缓存的元素数 × 每元素字节数。MLA 把每层的 KV 压成 c_KV（d_c）和 k_R（d_R）；GQA 缓存 2（K 和 V）× KV 头数 × head dim；线性注意力把历史压成常数状态，不随上下文线性增长。下面的计算器只算全注意力层的 KV，不把线性状态混进来。

Table 3A · 训练账：token 数、精度、GPU hours、并行。GPU hours 是报告值，不是本页估算；未获取的格子不补默认值。

Table 3B · 高效/混合模型的训练账。Kimi Linear 的 1.4T 是主实验 checkpoint，5.7T 是最终 checkpoint；两个数都来自报告。

读完这节你应该知道：九个模型都能画成 decoder-only 骨架，但层内顺序和注意力/FFN 的组合方式不同；这张图只画类型，不按真实层数比例。

DeepSeek-V3 是 61 层 / 7168 hidden 的 MLA + MoE；Kimi K2 也是 61 层 / 7168 hidden，但专家数从 256 + 1 增到 384 + 1，attention heads 从 128 降到 64，dense 层从 3 降到 1。两个模型都用 MLA，却用不同的稀疏度换容量。

Qwen3-235B 是 94 层、128 experts / 8 active、GQA 64 Q / 4 KV，没有 shared expert（0 shared），但加了 QK-Norm；它有 128K context，报告没有给 hidden 和 head dim，本页留空。

Qwen3-Next 与 Kimi Linear 把大部分层换成线性注意力：前者是 3:1 的 Gated DeltaNet : Gated Attention，后者是 3:1 的 KDA : full MLA。Nemotron 3 Nano 把大部分层换成 Mamba-2，只保留 6 层 GQA（共 52 层）。三者的全注意力层只占少数，KV cache 只按这些层算；线性/状态层的状态另算，不混进 KV cache。

读完这节你应该知道：报告里的效率倍数不是同一张考卷上的分数；每个倍数都要连同输入/输出长度、对比对象、硬件和精度一起读。

先看激活率。九个主模型从 3.13%（Kimi K2）到 10.13%（Nemotron 3 Nano）；其中六个 MoE 旗舰为 3.13%–9.36%，三个混合/线性模型为 3.75%–10.13%。Qwen3-32B dense 参照是 100%。条高按 12% 上限归一化，便于比较低激活率；dense 的 100% 超出上限，未画入。

数值与 Table 2A/2B 一致；MoE 旗舰用 --c1，混合/线性用 --c2。Qwen3-32B 的 100% 是 dense 参照，不参与条形比较。

激活率越低，每 token 的理论矩阵乘越省，但这不是实际吞吐。推断（依据：MoE 每 token 只走 top-k 专家；实际吞吐还受 EP all-to-all、shared expert、kernel 效率和 batch 影响）不能把「激活率低」直接写成「端到端更快」。报告里的吞吐倍数都带着自己的测试条件，下面逐条列。

Table 6A · 报告声称的效率数字及其条件。不同报告的对比对象、输入/输出长度、硬件不同，不能把这些倍数直接排名。

KV cache 是另一本账。Table 6B 用同一个公式算三个代表：DeepSeek-V3 的 MLA 只缓存 c_KV（d_c=512）和 k_R（d_R=64），61 层，每 token 70,272 B；gpt-oss-120b 是 36 层 GQA 8×64，每 token 73,728 B；Nemotron 3 Nano 只有 6 层全注意力，每 token 6,144 B。128K 下分别是 9.21 GB、9.66 GB、0.805 GB。GQA 行按 2（K 和 V）× KV 头 × head dim 计每层元素；MLA 行按 d_c + d_R 计。

Table 6B · KV cache 推导（本页公式，不是报告原表）：每 token = 层数 × 每层 KV 元素 × 每元素字节；GQA 每层元素 = 2（K 和 V）× KV 头 × head dim，MLA 每层元素 = d_c + d_R；2 B 是 BF16 假设，报告未给 KV 存储精度。

把三行放在一起：DeepSeek-V3 的每 token cache 是 gpt-oss-120b 的 0.953×，是 Nemotron 3 Nano 的 11.4×；gpt-oss 是 Nemotron 的 12.0×。5.1B 激活的 gpt-oss 每 token cache 反而略大于 37B 激活的 DeepSeek-V3：MLA 每层只缓存 c_KV 和 k_R（512+64 个元素），而 gpt-oss 每层缓存 2（K 和 V）× 8 个 KV 头 × 64 维（1,024 个元素）。这不是「谁更差」，是两本账。

Nemotron 3 Nano 展示了另一端：它只有 6 层全注意力，每 token 6,144 B，比 DeepSeek-V3 小 11.4×；Mamba 层的状态不随 context 线性增长，未计入 KV cache。Nemotron 3 Nano 的 cache 小，是因为只有 6 层全注意力，不是因为 3.2B 激活这个数字本身；把激活参数直接当成显存大小会漏掉层数和 KV 形状这两个乘数。

读完这节你应该知道：这张表能回答「谁用了什么结构」，不能回答「谁更强」；评测分数、训练 token、硬件和精度都不同口径。

不同报告的评测协议不同：Qwen3 系列用 36T token 训练，Kimi K2 用 15.5T，Nemotron 3 Nano 用 25T；gpt-oss 的 2.1M H100 hours 与 DeepSeek 的 2.788M H800 hours 不是同一硬件、同一精度、同一模型规模。把 MMLU 分数并列排名会制造虚假精度。

MoE 的激活参数不等于实际 FLOPs：路由、共享专家、attention、embedding 都计入不同的账；KV cache 也受 dtype、paging、prefix caching、张量并行切分影响。本页的 KV 表只算全注意力层，且用 2 B/值 的 BF16 假设。

跨报告还有一个更隐蔽的问题：同名指标的分母不同。比如「激活参数」有的含 embedding，有的不含；「context length」有的是训练长度，有的是外推后的标称上限。遇到这种差异，本页只并列，不替论文消解。

Table 7 · 未获取与未纳入清单。空着不等于不存在；「未获取」只表示本页没有从该模型的正式来源核到。

Llama 4 未纳入：本页未从官方模型卡核到（官方 HF/GitHub 卡片可访问，但本页未纳入）；未获取不等于模型没有数据。GLM-5 / Gemma 4 未纳入：笔记提到，但本页只纳入能打开并逐格核对的正式报告/模型卡。

这张表能回答「谁用了什么结构」，不能回答「谁更强」。要排名，必须先把评测协议、训练 token、硬件、精度和推理设置对齐；这些条件不在本页的架构表里。