GLM 系列（GLM-4.5 / GLM-5）

原文第 11、21 节。智谱（z.AI / Zhipu）的旗舰开源模型系列。

11 GLM-4.5

GLM-4.5 是 2025 年的主推模型：

• 旗舰 355B MoE，平均 12 个 benchmark 超过 Claude 4 Opus
• Air 版本 106B
• Instruct / reasoning hybrid，类似 Qwen3，但更针对 function calling / agent

Figure 33: GLM-4.5 benchmark.

关键设计

• 开头 3 层 dense + 之后 MoE（学自 DeepSeek V3）
• dense 开头的目的：稳定早期收敛；MoE 路由决策如果一开始就介入，会干扰低层语法 / 语义特征提取
• 保留 shared expert（与 Qwen3 不一样）
• 保留 attention bias（与 GPT-2 / GPT-OSS 一致）

Figure 34: GLM-4.5 next to a similarly-sized Qwen3 model.

21 GLM-5（2026-02-11）

春节前一周发布，是 2026 年 GLM 系列的开年旗舰：

• 总参数 744B（GLM-4.5 是 355B，翻倍）
• 激活参数 40B（GLM-4.5 是 32B）
• 介于 DeepSeek V3.2 和 Kimi K2 之间

关键升级

• 采用 DeepSeek 的 [[MLA（Multi-Head Latent Attention）|MLA]] —— 这是 GLM-4.5 没有的
• 采用 DeepSeek Sparse Attention（与 V3.2 同源）
• 专家从 160 增到 256
• embedding / expert dim 从 5120 → 6144
• intermediate 从 1536 → 2048
• 层数从 92 → 78（变浅，可能是为了降推理延迟——层深度无法并行）

Figure 56: Architecture of GLM-5 and GLM-4.5 side by side.

Figure 57: GLM architectures next to benchmarks. GLM-4.7 architecture is similar to GLM-4.5.

相关笔记

• [[DeepSeek V3 系列]] —— GLM 学了 V3 的 MLA + sparse attention
• [[MoE（Mixture of Experts）]]
• [[MLA（Multi-Head Latent Attention）]]
• [[Qwen3 系列]] —— 同期对照

来源

原文 section 11 & 21 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison