Nemotron 3（Nano / Super）

原文第 18 节。NVIDIA 在 2025-12 发布的 Nemotron 3 系列，开源权重 + 技术报告 + 数据集 + 训练代码（与 Olmo 3 透明度相当）。

18.1 Nemotron 3 Nano（30B-A3B）

架构总览

Nemotron 3 Nano 是 Mamba-Transformer 混合 + MoE：

• 52 层（13 macro blocks × Mamba-2 + MoE sub-blocks + 少量 GQA 层）
• MoE：128 专家，每 token 激活 1 shared + 6 routed
• 几乎不用 self-attention，只在少量层用

比 Qwen3-Next / Kimi Linear 更激进——attention 层比例极少。

Figure 51.1: Outline of the Nemotron 3 Nano model, which is a Transformer-Mamba hybrid.

Mamba-2 是什么

概念上类似 [[Gated DeltaNet]] / [[KDA（Kimi Delta Attention）|KDA]]：

• 维护一个 running hidden state
• 用 learned gates 把新输入混进 state
• 线性 O(n) 缩放（不像 attention O(n²)）

“Beyond Standard LLMs” 是作者的另一篇专门讲 SSM 的文章。

性能

“really good performance compared to pure transformer architectures of similar size, while achieving much higher tokens-per-second throughput”

18.2 Nemotron 3 Super（120B，2026-03-11 发布）

Super 版在 Nano 基础上做了两个主要改动：

改动 1：[[MTP（Multi-Token Prediction）|MTP]]

MTP 训练时同时预测多个未来 token：

• 训练信号更丰富 → 质量 + 推理效率都受益
• 与一般 MTP 不同：Nemotron 3 Super 在推理时也用 MTP
• 共享权重的 MTP head 充当”内部 draft model”，做 native speculative decoding
• 不需要外部 draft model

作者建议改叫”shared-weight MTP for speculative decoding”，而非”MTP-3”。

Figure 51.2: Multi-Token Prediction versus regular next token prediction.

改动 2：Latent Experts

专家在 latent space 操作：

• 输入 4096 维先 down-project 到 1024
• 专家在 1024 维上工作
• 输出 up-project 回 4096

Figure 51.3: Nemotron 3 Super 120B-A12B with latent MoE layers, multi-token prediction, and the Mamba-2 hybrid attention approach.

性能

• 2× faster than Qwen3.5 122B-A10B
• NVFP4 版本 2.2× faster than GPT-OSS 120B
• benchmark 与 Qwen3.5 122B-A10B、GPT-OSS 120B 同档

Figure 51.4: Nemotron 3 Super benchmark comparison from the Hugging Face Hub page.

相关笔记

• [[MoE（Mixture of Experts）]]
• [[MTP（Multi-Token Prediction）]]
• [[Gated DeltaNet]] —— Mamba-2 的近亲
• [[Qwen3 系列]] Qwen3-Next —— 同样走 linear attention 路线

来源

原文 section 18 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison