Meta - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/meta/ Meta - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 06 Jun 2026 00:00:00 +0000 Llama 4 https://blog.vllbc.top/llama-4/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/llama-4/ Llama 4 Maverick

原文第 5 节。Llama 4 用 MoE，结构上与 DeepSeek V3 很像，但选择不同。

关键设计

Llama 4 Maverick 整体骨架与 DeepSeek V3 类似，但有这些显著区别：

维度 DeepSeek V3 Llama 4 Maverick
总参数 671B 400B
激活参数 37B 17B
注意力 MLA GQA
MoE 模式 9 专家（每专家 hidden 2048） + 1 共享 2 专家（每专家 hidden 8192）
MoE 放置 每层（除前 3 层） 隔层（dense / MoE 交替）

也就是说 Llama 4 Maverick 走”少量大专家”路线，DeepSeek V3 走”大量小专家 + 共享”路线。

]]>