vllbc02Latent Experts
Latent Experts
来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。
一句话
Latent Experts = MoE 中的专家在 latent space（低维） 工作，而非原始 token embedding 空间：
- 输入 4096 维 down-project 到 1024
- 专家在 1024 维工作
- 输出 up-project 回 4096
→ 节省计算量，专家可以更”小”。
谁在用
- Nemotron 3 Super（2026-03 发布）
对比传统 MoE
| 维度 | 传统 MoE | Latent MoE |
|---|---|---|
| 专家 dim | 等于 FFN 隐藏层 | 等于 latent dim（更小） |
| 计算 | 直接 in/out | 多了 down/up project |
| 专家容量 | 大 | 小但高效 |
图示
Figure 51.3: Nemotron 3 Super 120B-A12B with latent MoE layers, multi-token prediction, and the Mamba-2 hybrid attention approach.
相关笔记
- [[MoE（Mixture of Experts）]]
- [[Nemotron 3]]
来源
The Big LLM Architecture Comparison, section 18.2 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison