Grok 2.5

原文第 10 节。xAI 在 2025 年中发布了 Grok 2.5 的权重（去年 xAI 的旗舰生产模型）。这给我们提供了一个少有的”真实生产系统”视角。

整体架构

270B dense（或 MoE，看 source），整体架构”标准”。

Figure 32: Grok 2.5 next to a Qwen3 model of comparable size.

关键点

• 少量大专家（8 个）—— 与近年”小而多专家”趋势相反
• 有一个 SwiGLU 模块作为类共享专家：不是经典 shared-expert 设计（它的 intermediate dim 翻倍），但思路一致
• 作者特别指出：Qwen3 砍了 shared expert，看 Qwen4 / 后续模型是否回归会很有意思

与其他模型的关系

• 跟 [[GPT-OSS]] 一样：都选择”少量大专家”
• 与 [[Qwen3 系列]] 对照：Qwen3 不用 shared expert，Grok 2.5 用
• 真实生产模型，权重可分析——难得

来源

原文 section 10 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison