综述 - 标签 - vllbc02's blogs

2025-2026 LLM 架构对比

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

2025-2026 大型 LLM 架构对比

整理自 Sebastian Raschka 的 The Big LLM Architecture Comparison（最后更新于 2026 年 4 月 2 日）。原文以架构为主线，扫描了 23+ 个 2025-2026 年发布的主流开源 LLM。本文按模型族拆成多份笔记，每篇都包含关键技术点、对应原图与索引。

Arcee AI Trinity Large

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

Arcee AI Trinity Large

原文第 20 节。Arcee AI 在 2026-01-27 发布的 400B MoE（13B 激活）。技术报告相当详细。

关键设计

3:1 SWA（介于 Gemma 3 与 Olmo 3 之间）

local:global = 3:1（不像 Gemma 3 / Xiaomi 是 5:1，也不像纯 global）
滑动窗口大小 = 4096（与 Olmo 3 类似）

[[NoPE（No Positional Embedding）|NoPE]] in global layers

global attention 层用 NoPE（参考 [[SmolLM3]] 的做法）
局部层照常用 RoPE

Gated Attention

不像 Qwen3-Next 是完整 GatedDeltaNet，而是借鉴了 Qwen3-Next 的 attention 门控
在 scaled dot-product 后、output linear projection 前 加 elementwise gating
效果：减少 attention sinks，改善长序列泛化 + 训练稳定性

DeepSeek V3 系列

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

DeepSeek V3 系列（V3 / R1 / V3.2）

原文第 1、16 节。DeepSeek R1（2025 年 1 月）发布后引起极大关注，它是构建在 DeepSeek V3（2024 年 12 月）架构之上的 reasoning 模型。V3.2（2025 年 12 月）则是另一个重要升级，引入了 sparse attention。

Feb 2026 LLM 新发布（速览）

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

Feb 2026 LLM 新发布（速览）

原文第 22 节。2026 年 1-2 月集中爆发的一波开源 LLM，作者列了 10 个值得关注的：

列表

发布日期	模型	笔记
2026-01-27	Arcee AI Trinity Large	[[Arcee Trinity Large]]
2026-01-27	Moonshot AI Kimi K2.5	（K2 的小升级）
2026-02-01	StepFun Step 3.5 Flash	（MTP-3）
2026-02-03	Qwen3-Coder-Next	[[Qwen3 系列#Qwen3-Coder-Next]]
2026-02-12	z.AI GLM-5	[[GLM 系列#GLM-5]]
2026-02-12	MiniMax M2.5	（M2 升级）
2026-02-13	Nanbeige 4.1 3B
2026-02-15	Qwen 3.5
2026-02-16	Ant Group Ling 2.5 1T & Ring 2.5 1T
2026-02-17	Cohere Tiny Aya
2026-03-06	Sarvam 30B / 105B

已在本系列笔记中覆盖的

Arcee AI Trinity Large → [[Arcee Trinity Large]]
Qwen3-Coder-Next → [[Qwen3 系列#Qwen3-Coder-Next]]
GLM-5 → [[GLM 系列#GLM-5]]
Kimi K2.5 → [[Kimi 系列#K2 的后继]]
MiniMax M2.5 → [[MiniMax M2#M2.5]]

来源

原文 section 22 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison

Gemma 系列（Gemma 3 / 3n / 4）

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

Gemma 系列（Gemma 3 / 3n / 4）

原文第 3、23 节。Google 的 Gemma 系列一直是”被低估”的高质量开源模型——27B 这个 size 区间在 Mac Mini 上都能跑。

Gemma 3（2025 年初）

3.1 [[滑动窗口注意力（Sliding Window Attention）]]

Gemma 2 已经用滑动窗口，Gemma 3 进一步把 local:global 比例从 1:1 改成 5:1（每 5 层 SWA + 1 层 full attention），窗口大小从 4096 缩到 1024。

GLM 系列（GLM-4.5 / GLM-5）

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

GLM 系列（GLM-4.5 / GLM-5）

原文第 11、21 节。智谱（z.AI / Zhipu）的旗舰开源模型系列。

11 GLM-4.5

GLM-4.5 是 2025 年的主推模型：

旗舰 355B MoE，平均 12 个 benchmark 超过 Claude 4 Opus
Air 版本 106B
Instruct / reasoning hybrid，类似 Qwen3，但更针对 function calling / agent

GPT-OSS（OpenAI 的开源模型）

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

GPT-OSS

原文第 9 节。OpenAI 自 GPT-2（2019）以来首次发布开源模型，2025-08。两个 size：gpt-oss-20b 和 gpt-oss-120b。

总体架构

整体骨架”很眼熟”——所有组件都在其他模型中见过。3.6B 激活参数，MoE + 滑动窗口 attention + GQA。

Grok 2.5

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

Grok 2.5

原文第 10 节。xAI 在 2025 年中发布了 Grok 2.5 的权重（去年 xAI 的旗舰生产模型）。这给我们提供了一个少有的”真实生产系统”视角。

整体架构

270B dense（或 MoE，看 source），整体架构”标准”。

Kimi 系列（K2 / K2 Thinking / Kimi Linear）

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

Kimi 系列（K2 / K2 Thinking / Kimi Linear）

原文第 8、14 节。Moonshot AI 的旗舰开源系列。K2 是 1T 参数的”超大杯”，Kimi Linear 是 2025 年 10 月推出的线性注意力版本。

Llama 4

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

Llama 4 Maverick

原文第 5 节。Llama 4 用 MoE，结构上与 DeepSeek V3 很像，但选择不同。

关键设计

Llama 4 Maverick 整体骨架与 DeepSeek V3 类似，但有这些显著区别：

维度	DeepSeek V3	Llama 4 Maverick
总参数	671B	400B
激活参数	37B	17B
注意力	MLA	GQA
MoE 模式	9 专家（每专家 hidden 2048） + 1 共享	2 专家（每专家 hidden 8192）
MoE 放置	每层（除前 3 层）	隔层（dense / MoE 交替）

也就是说 Llama 4 Maverick 走”少量大专家”路线，DeepSeek V3 走”大量小专家 + 共享”路线。