MiniMax M2 用 229.9B 总参数 / 9.8B 激活 换每 token 的低计算；gpt-oss-120b 把 MoE 权重压到 MXFP4，让 116.83B 参数装进 60.8 GiB checkpoint； Nemotron 3 Nano 用 Mamba-2 + 少量 attention 把 31.6B 总参数、3.2B 激活做到 1M 上下文；OLMo 2 7B 反其道而行，用 dense + Post-Norm + QK-Norm 换训练稳定性和完全开放的训练材料。 四个模型不在同一量级，本页比较的是设计选择，不是排行榜。
四组材料都在处理同一个拆账问题：每 token 的计算由激活参数决定，权重容量由总参数决定，上下文成本由序列混合方式决定。 M2 的激活占比是 4.26%，gpt-oss-120b 是 4.39%；Nemotron 3 Nano 是 10.13%，OLMo 2 7B 是 dense 的 100%。
M2 的总参数是 229.9B，激活只有 9.8B；gpt-oss-120b 是 116.83B / 5.13B，并把 MoE 权重量化到 MXFP4（4.25 bit），checkpoint 60.8 GiB； Nemotron 3 Nano 是 31.6B 总参数 / 3.2B 激活（含 embedding 3.6B），52 层里只有 6 层 self-attention；OLMo 2 7B 是 7B dense，32 层、4,096 上下文。
这些数字不能直接横比：M2 用 model card 的 OpenHands 口径，gpt-oss 用同一张 Table 3 的 high reasoning 档，Nemotron 用自己报告里的混合来源表，OLMo 2 用 OLMES 子集。 本页把每份报告的条件写在数字同一句里；06 的同口径对照只发生在同一份报告、同一张表内。
先把计算、容量、上下文三笔账分开，才看得懂四种设计为什么长成这样。
一个 decoder-only 模型在推理时有三个不同的预算。第一是每 token 的计算：dense 模型要读全部参数，稀疏 MoE 只读被路由到的专家， 所以 M2 可以在 229.9B 总参数下只激活 9.8B（M2 TR §2.1）。 第二是权重容量：不管激活多少，权重都要占存储；gpt-oss-120b 的 116.83B 参数在 MoE 权重 MXFP4 量化后，checkpoint 仍是 60.8 GiB（gpt-oss Table 1）。 第三是上下文成本：full attention 的 KV cache 随序列长度增长，Mamba-2 只保留常数大小的 state；Nemotron 3 Nano 把大部分层换成 Mamba-2，只留 6 层 attention（Nano TR §4.3）。
把三笔账混在一起，就会得到“激活小所以部署便宜”或“总参数大所以一定慢”这类错误预期。 M2 的 9.8B 激活只说明每 token 读的参数少，不说明 229.9B 权重可以忽略；gpt-oss-120b 的 5.13B 激活也不等于 60.8 GiB 可以塞进任何设备。 OLMo 2 7B 则是另一种极端：7B dense，激活等于总参数，没有路由开销，但每 token 的计算也随总参数线性增长（OLMo 2 Table 3）。
MoE 让总参数和激活参数脱钩：M2 的 229.9B 总参数只激活 9.8B，gpt-oss-120b 的 116.83B 只激活 5.13B，Nemotron 3 Nano 的 31.6B 只激活 3.2B。 但权重仍要存，专家仍要通信，路由仍有负载均衡问题。OLMo 2 7B 不做这个拆分，换来的是 dense 的简单性和完全开放的训练材料；代价是每 token 的计算无法低于 7B。
四条已发布路线分别用 dense 稳定性、粗粒度 MoE、细粒度 MoE、混合 Mamba 换效率；没有一条同时拿下计算、容量、上下文三项。
7B / 13B / 32B 全是 dense。7B 是 32 层、32Q/32KV MHA，13B 是 40 层、40Q/40KV，32B 才切到 40Q/8KV GQA； 全部使用 Post-Norm（RMSNorm 放在 attention / MLP 输出上）和 QK-Norm（OLMo 2 Table 3、§2.1）。
代价：每 token 计算随总参数线性增长；7B 的上下文是 4,096（Table 3），没有 MoE 的稀疏容量。
120b 是 36 层、128 个专家、top-4；20b 是 24 层、32 个专家、top-4。两个模型都用 softmax 在选中专家上归一化， attention 交替 banded（128 token）和 dense，并用学到的 sink bias 允许“不看任何 token”（gpt-oss §2.2）。
代价：MoE 权重压到 MXFP4 才把 120b 放进单张 80GB GPU；上下文是 131,072，不是 1M（§2.1、§2.2）。
62 层，256 个 fine-grained experts，每 token 激活 8 个；sigmoid gating 加 per-expert learnable bias，减少对 auxiliary loss 的依赖。 attention 全部是 full attention，48Q/8KV GQA，192K 原生上下文，另有 MTP 模块做 speculative decoding（M2 TR §2.1）。
代价：总参数 229.9B，权重容量仍是最大的一档；full attention 在 192K 下的 KV 成本没有用 Mamba 或 SWA 换掉。
52 层里只有 6 层 self-attention，其余以 Mamba-2 和 MoE 交替；128 个 routable experts，top-6，另有 2 个 shared experts。 不使用 positional embedding，支持 1M 上下文，25T 预训练 token（Nano TR Table 1、Abstract）。
代价：混合层的 kernel、量化和长上下文评测都比纯 Transformer 复杂；31.6B 总参数也不是免费容量。
这四条路线不是时间上的“前人方案”，而是这一代开源模型的四种不同取舍。把它们放在同一张表里，只能比较设计选择： 谁把激活压得更低、谁把上下文做得更长、谁把权重压得更小、谁把训练材料放得更开。不能把它们的效果分数直接排成一条榜。
四个旋钮决定钱花在哪：激活多少、序列怎么混、权重存多小、训练怎么稳。
Table 1（本页归纳）：四个模型的公开规格。列内来源：MiniMax M2 → M2 TR §2.1；gpt-oss-120b → gpt-oss Table 1 / §2.2；Nemotron 3 Nano → Nano TR Table 1；OLMo 2 列：4.05T 见 §2.3，发布信息见 Abstract；架构规格见 Table 3。 激活参数口径不完全一致：gpt-oss 计入 unembedding、不计 embeddings；Nemotron 的 3.2B 不含 embeddings（含则 3.6B）；M2 报告未拆；OLMo 2 是 dense，激活等于总参数（7B 为系列名，报告未给更精确的总参数）。
| 项目 | MiniMax M2 | gpt-oss-120b | Nemotron 3 Nano | OLMo 2 7B |
|---|---|---|---|---|
| 总参数 | 229.9B | 116.83B | 31.6B | 7B（系列名） |
| 激活参数 / token | 9.8B | 5.13B | 3.2B（不含 embedding；含则 3.6B） | 7B（dense） |
| 激活占比 | 4.26% | 4.39% | 10.13% | 100% |
| 层数 | 62 | 36（20b：24） | 52（6 层 attention） | 32 |
| FFN / 专家 | 256 experts，top-8，sigmoid + bias | 128 experts，top-4，softmax over selected | 128 routable experts，top-6 + 2 shared | dense SwiGLU |
| 序列层 | full attention，GQA 48Q/8KV | banded 128 / dense 交替，GQA 64Q/8KV，sink bias | Mamba-2 + MoE，6 层 GQA 32Q/2KV | MHA 32Q/32KV，Post-Norm + QK-Norm |
| 上下文 | 192K | 131,072 | 1M | 4,096 |
| 预训练 token | 29.2T | trillions（未给精确值） | 25T | 4.05T total |
| 精度 / 发布 | 报告未给权重精度；modified MIT | MoE 权重 MXFP4，4.25 bit；checkpoint 60.8 GiB；Apache 2.0 | BF16 / FP8 PTQ；开放权重与大部分数据 | 报告未给权重精度；权重、数据、代码、日志全开放 |
| 训练亮点 | agentic RL（Forge），MTP ×3 draft | distillation + RL，2.1M H100-hours | SFT + RLVR + RLHF，FP8 PTQ | Dolmino Mix 1124 mid-training，RLVR |
M2 的 MoE 路由用 sigmoid 给每个专家独立打分，再加 per-expert learnable bias；论文的说法是这能减少对 auxiliary load-balancing loss 的依赖（M2 TR §2.2.1）。 gpt-oss 走另一条：128 个专家里选 top-4，softmax 只在被选中的专家上归一化（gpt-oss §2.2）。 Nemotron 3 Nano 用 128 个 routable experts、top-6，再加 2 个 shared experts；报告没有展开 shared expert 的路由细节（Nano TR Table 1）。
三种路由的共同点是：每 token 只读一部分专家，所以激活参数远小于总参数；不同点在于归一化、bias 和 shared expert 的处理。 这些差异会影响负载均衡和训练稳定性，但本页不把某一种路由写成“更好”——四家报告没有在同一组消融下比较三种路由。
M2 明确选择 full attention。论文在 §2.2.2 里说，他们试过 hybrid SWA，但在 retrieval、multi-hop、in-context learning 上出现退化； 在超过 32K 的 agent / long-context 任务上，SWA 变体的劣势更明显（M2 TR §2.2.2）。 gpt-oss 则交替 banded window（128 token）和 fully dense 层，并在每个 attention head 的 softmax 分母里加一个学到的 bias，起到 attention sink 的作用（gpt-oss §2.2）。 Nemotron 3 Nano 把大部分层换成 Mamba-2，只保留 6 层 self-attention；Mamba-2 在生成时只维护常数大小的 state（Nano TR §4.3、White Paper §2.1）。
这三条路的成本结构不同：full attention 的 KV cache 随上下文线性增长；banded attention 把大部分层的窗口压到 128 token；Mamba-2 的 state 大小与上下文无关。 但“state 常数”不等于“长上下文免费”：Mamba-2 仍要保留 state，混合层仍要 kernel 支持，长上下文评测仍要单独做（Nemotron 的 RULER-100 @1M 是 86.34，Nano TR Table 3）。
gpt-oss 的 MXFP4 只用于 MoE 权重，论文明确说 MoE 权重占总参数 90% 以上，量化后 120b 才能放进单张 80GB GPU（gpt-oss §2.1）。 这不是“全模型 4.25 bit”：报告只说明 MoE 权重被量化，其他部分的具体精度没有逐项列出；checkpoint 60.8 GiB 是打包后的结果（gpt-oss Table 1）。 Nemotron 3 Nano 走的是后训练 FP8 PTQ：从 BF16 量化到 FP8，报告说中位精度恢复约 99%（Nano TR §4.3）。 M2 和 OLMo 2 的报告没有给出权重精度，本页不替它们填一个（见 07）。
OLMo 2 的 block 写成：
这套放置是 OLMo 2 为训练稳定性做的选择；论文同时用了 QK-Norm、z-loss 和 RoPE θ=5e5（OLMo 2 §2.1）。 M2 用 full attention + RoPE，gpt-oss 用 Pre-LN + RMSNorm，Nemotron 用 RMSNorm；OLMo 2 的稳定性结论不能直接搬到另外三个模型上：四者的归一化位置和精度设置不同（推断）。
把总参数和激活参数代进同一张账本，能看到每 token 读取和权重容量不是一回事。
Table 3（本页归纳）：训练与部署预算。空白项写“未获取”，不替报告补数。
| 模型 | 预训练 token | 训练算力 | 上下文 | 权重 / 精度 | 来源 |
|---|---|---|---|---|---|
| MiniMax M2 | 29.2T | 未获取 | 192K | 权重精度未获取 | M2 TR §2.1 / §3 |
| gpt-oss-120b | trillions（未给精确值） | 2.1M H100-hours | 131,072 | MoE 权重 MXFP4；checkpoint 60.8 GiB | gpt-oss §2.1 / §2.4 / Table 1 |
| Nemotron 3 Nano | 25T | 未获取 | 1M | BF16 / FP8 PTQ | Nano TR Abstract / §4.3 |
| OLMo 2 7B | 4.05T total（3.90T pretrain + 150B mid） | 未获取 | 4,096 | 权重精度未获取 | OLMo 2 §2.3 / Table 3 |
训练侧能对上的只有 token 数和 gpt-oss 的 H100-hours：M2 29.2T（M2 TR §2.1），gpt-oss-120b 2.1M H100-hours（gpt-oss §2.4）， Nemotron 3 Nano 25T（Nano TR Abstract），OLMo 2 7B 4.05T total（OLMo 2 §2.3）。 另外三家未给单一官方总数字；OLMo 2 仅有 Figure 1 的近似 FLOPs，本页仍写“未获取”，不用 token 数反推。
下面只算“每 token 读取多少参数 × 生成多少 token”。它不是 FLOPs，也不含 attention、KV cache、专家通信和 kernel 开销； 四个模型的 active 口径也不完全一致（Table 1 的 caption 已列）。切换模型时，读数会同步换来源。
组 1：MiniMax M2，生成 1M token。
229.9B = 229.9×109；激活参数 9.8B = 9.8×109。9.8 / 229.9 × 100 = 4.26%；相对总参数少 100 − 4.26 = 95.74%。9.8×109 × 1×106 = 9.80×1015，显示为 9.80e15。229.9×109 × 1×106 = 2.299×1017，显示为 2.30e17（toExponential(2) 四舍五入）。组 2：OLMo 2 7B，生成 4M token。
7B = 7×109；dense 模型，激活参数也是 7×109。7 / 7 × 100 = 100.00%；相对总参数少 100 − 100 = 0.00%。7×109 × 4×106 = 2.80×1016，显示为 2.80e16。2.80e16；没有稀疏节省。这个模型覆盖了什么、没覆盖什么：只覆盖 N_active × T、N_total × T 和 1 − N_active/N_total 三条算术；常量来自四个模型的官方报告（见 Table 1 的列头）。
未覆盖 attention/KV cache、专家路由与 all-to-all、通信、精度、batch、kernel 效率和训练反向；也不把参数触碰当作 FLOPs。滑块改变 token 数时，交互只是把同一个乘法重算，不引入新的论文数字。
M2 每 token 只激活 9.8B，但总参数 229.9B；gpt-oss-120b 每 token 激活 5.13B，但 checkpoint 仍是 60.8 GiB；Nemotron 3 Nano 是 3.2B / 31.6B； OLMo 2 7B 没有稀疏节省，但它的权重容量在四者里最小（7B dense）；按这个口径，单卡部署门槛最低（推断）。 这四句话只在“参数触碰”和“checkpoint 大小”两个口径上成立，不能推出端到端延迟或吞吐的排序。
差异集中在 attention/Mamba 比例、专家路由和精度；不在“是不是 Transformer”这个层面。
每个数字都带着模型、benchmark 变体、harness 和推理档位；跨报告只做并列，不做排名。
M2 模型卡给的 SWE-bench Verified 是 69.4，条件是 R2E-Gym scaffold on OpenHands、128K context、100 max steps、no test-time scaling（M2 model card §Coding & Agentic Benchmarks）。 同一张模型卡的 AA 口径下，AIME25 78、MMLU-Pro 82、GPQA-Diamond 78（M2 model card §Intelligence Benchmarks）。 这两组不是同一 harness：前者是 agent scaffold，后者是 Artificial Analysis 的聚合方法，不能互相换算。
技术报告 Table 4 给的是系列内的 M2.5 → M2.7，不是原始 M2：AIME 2026 从 87.2 到 94.2（+7.0 个百分点），MMLU-Pro 从 85.2 到 81.8（−3.4 个百分点），SWE-bench Pro 从 55.4 到 56.2（+0.8 个百分点），GPQA 从 85.2 到 89.8（+4.6 个百分点）。 条件是 thinking enabled + interleaved-thinking protocol（M2 TR §8.1）。
同一张 Table 3、同一 high reasoning 档：120b 的 AIME 2025（no tools）是 92.5，20b 是 91.7（+0.8 个百分点）； GPQA Diamond 是 80.1 / 71.5（+8.6 个百分点）；SWE-bench Verified 是 62.4 / 60.7（+1.7 个百分点）。 这些是同一张表内的同档对照：AIME 的 120b−20b 差是 0.8 点，GPQA 是 8.6 点；这仍只是 gpt-oss 自己的评测结果。
Nano 报告 Table 3 把 Nano、Qwen3-30B-A3B-Thinking-2507、GPT-OSS-20B 放在同一张表：Nano 的 AIME25 no tools 是 89.06，GPT-OSS-20B 是 91.70（−2.64 个百分点）； SWE-Bench (OpenHands) 是 38.76 / 34.00（+4.76 个百分点）；Arena-Hard-V2 Average 是 67.65 / 48.55（+19.10 个百分点）。 RULER-100 @1M 是 86.34，而 GPT-OSS-20B 的上下文是 131,072（128K）（Nano TR Table 3、gpt-oss §2.2）。
这张表的条件要单独说：报告声明对比模型的分数“优先取官方，缺失时取 ArtificialAnalysis，否则按官方协议自测”（Nano TR §3.4.1）。 所以即使在同一张表里，三个模型的来源也不完全是同一 harness；本页只把它们当作 Nano 报告内的对照，不升级成跨报告结论。
Table 9 的 7B 行：Avg 从 53.0 到 62.9（+9.9 个百分点），GSM8K 从 24.1 到 67.5（+43.4 个百分点）， MMLU 从 59.8 到 63.7（+3.9 个百分点），DROP 从 40.7 到 60.8（+20.1 个百分点）。 条件：OLMES 子集；7B 的 pretrain checkpoint 在 Table 9 caption 里写 4T token，§2.3 写 3.90T pretrain（加 150B mid 合计 4.05T）；mid-training 是 3 次 × 50B Dolmino token 的权重平均（OLMo 2 §2.3、Table 9）。
正文 §4.2 说 7B 平均提高 10.6 点；Table 9 的 Avg 列差是 9.9 点。两处原文并列，本页不合并，也不替作者选一个。
Table 2（本页归纳）：只做同一份报告、同一张表内的对照；差值为 B − A，单位是百分点。跨报告分数不放进同一列。
| 报告 | 对照（A → B） | 指标 | A | B | 差值 | 条件 | 来源 |
|---|---|---|---|---|---|---|---|
| MiniMax M2 TR | M2.5 → M2.7 | AIME 2026 | 87.2 | 94.2 | +7.0 | thinking enabled + interleaved protocol | M2 TR Table 4 |
| MiniMax M2 TR | M2.5 → M2.7 | MMLU-Pro | 85.2 | 81.8 | −3.4 | 同上 | M2 TR Table 4 |
| MiniMax M2 TR | M2.5 → M2.7 | SWE-bench Pro | 55.4 | 56.2 | +0.8 | 同上 | M2 TR Table 4 |
| gpt-oss model card | 20b → 120b | AIME 2025（no tools） | 91.7 | 92.5 | +0.8 | high reasoning，no tools | gpt-oss Table 3 |
| gpt-oss model card | 20b → 120b | SWE-bench Verified | 60.7 | 62.4 | +1.7 | high reasoning | gpt-oss Table 3 |
| Nemotron 3 Nano TR | GPT-OSS-20B → Nano | AIME25（no tools） | 91.70 | 89.06 | −2.64 | Nano 报告内对照；混合来源 | Nano TR Table 3 |
| Nemotron 3 Nano TR | GPT-OSS-20B → Nano | SWE-Bench（OpenHands） | 34.00 | 38.76 | +4.76 | OpenHands harness；混合来源 | Nano TR Table 3 |
| OLMo 2 | 7B pretrain → mid-train | OLMES Avg | 53.0 | 62.9 | +9.9 | OLMES 子集；3 × 50B Dolmino | OLMo 2 Table 9 |
| OLMo 2 | 7B pretrain → mid-train | GSM8K | 24.1 | 67.5 | +43.4 | 同上 | OLMo 2 Table 9 |
四个模型都解决不了跨口径比较；长上下文、总权重和精度收益各有前提。
SWE-bench 有四种口径：M2 模型卡是 SWE-bench Verified（69.4，OpenHands + R2E-Gym scaffold），gpt-oss 是 SWE-bench Verified（62.4，high reasoning）， M2 TR 是 SWE-bench Pro（M2.7 56.2），Nemotron 是 SWE-Bench with OpenHands（38.76）。四个数字不是同一道题，不能直接比大小。 AIME 也一样：M2 模型卡是 AIME25，M2 TR 是 AIME 2026，gpt-oss 是 AIME 2024/2025，Nemotron 是 AIME25（M2 model card、M2 TR Table 4、gpt-oss Table 3、Nano TR Table 3）。
M2 的 229.9B 总参数是四者里最大的一档；报告没有给权重精度，所以本页不给它的 GB 数（M2 TR §2.1）。 gpt-oss-120b 的 60.8 GiB 是 MoE 权重 MXFP4 量化后的 checkpoint，官方说它能放进单张 80GB GPU（gpt-oss Table 1、§2.1）。 Nemotron 3 Nano 是 31.6B，OLMo 2 7B 是 7B dense；后两者在权重容量上小得多，但这不等于端到端更快，因为还要看 attention、kernel 和 batch。
M2 用 full attention 撑 192K；gpt-oss 用 banded/dense 交替撑 131,072；Nemotron 3 Nano 用 6 层 attention + Mamba-2 撑 1M；OLMo 2 7B 是 4,096。 Mamba-2 的 state 是常数大小，但混合层的 kernel、state 更新和长上下文评测都要单独做；Nemotron 的 RULER-100 @1M 86.34 是它自己的评测，不是跨模型的 1M 对比（Nano TR Table 3）。
gpt-oss 的 MXFP4 只量化 MoE 权重，MoE 权重占 90% 以上；这不是“全模型 4.25 bit”（gpt-oss §2.1）。 Nemotron 3 Nano 的 FP8 是后训练 PTQ，报告说中位精度恢复约 99%（Nano TR §4.3）；这是它自己的 BF16 基线，不是其他模型的精度保证。 M2 和 OLMo 2 的权重精度未获取，本页不替它们假设 BF16 或 FP8。
OLMo 2 发布权重、完整训练数据、训练代码、recipe、日志和大量中间 checkpoint（OLMo 2 Abstract）； M2 发布权重（modified MIT），但报告与模型卡没有列出训练数据发布；gpt-oss 发布权重、推理实现、工具环境和 tokenizer（Apache 2.0），报告没有列出训练数据发布； Nemotron 3 Nano 发布权重、recipe、code 和大部分数据（M2 model card §How to Use、gpt-oss §1、Nano TR Abstract）。 这些差异决定了“能不能复现训练”，而不只是“能不能下载权重”（推断：依据是上面各家公开的训练材料范围）。
Nemotron 3 还有 Super 档：120.6B total / 12.7B active（不含 embedding 12.1B），NVFP4 预训练、LatentMoE、MTP，25T token，1M 上下文（Super TR §2.1）。 本页 Table 1 / Table 2 只用 Nano；Super 的 benchmark 没有和 Nano 混排，因为两份报告的评测口径不同。Super 在这里只用于说明家族路线，不参与四模型对照。
M2 把激活压到 4.26%，但总参数 229.9B；gpt-oss 把 MoE 权重压到 MXFP4，checkpoint 60.8 GiB；Nemotron 用 Mamba-2 换 1M 上下文；OLMo 2 用 dense + Post-Norm 换稳定性和完全开放。 先确认自己要省的是每 token 计算、权重容量、上下文成本还是训练透明度，再决定看哪一列。