Latent Experts - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/latent-experts/ Latent Experts - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 06 Jun 2026 00:00:00 +0000 Latent Experts https://blog.vllbc.top/latent-experts/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/latent-experts/ Latent Experts

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。

一句话

Latent Experts = MoE 中的专家在 latent space（低维） 工作，而非原始 token embedding 空间：

  • 输入 4096 维 down-project 到 1024
  • 专家在 1024 维工作
  • 输出 up-project 回 4096

→ 节省计算量，专家可以更”小”。

]]>