原文第 20 节。Arcee AI 在 2026-01-27 发布的 400B MoE（13B 激活）。技术报告相当详细。

关键设计

3:1 SWA（介于 Gemma 3 与 Olmo 3 之间）

• local:global = 3:1（不像 Gemma 3 / Xiaomi 是 5:1，也不像纯 global）
• 滑动窗口大小 = 4096（与 Olmo 3 类似）

[[NoPE（No Positional Embedding）|NoPE]] in global layers

• global attention 层用 NoPE（参考 [[SmolLM3]] 的做法）
• 局部层照常用 RoPE

Gated Attention

• 不像 Qwen3-Next 是完整 GatedDeltaNet，而是借鉴了 Qwen3-Next 的 attention 门控
• 在 scaled dot-product 后、output linear projection 前 加 elementwise gating
• 效果：减少 attention sinks，改善长序列泛化 + 训练稳定性

原文第 3、23 节。Google 的 Gemma 系列一直是”被低估”的高质量开源模型——27B 这个 size 区间在 Mac Mini 上都能跑。

Gemma 3（2025 年初）

3.1 [[滑动窗口注意力（Sliding Window Attention）]]

Gemma 2 已经用滑动窗口，Gemma 3 进一步把 local:global 比例从 1:1 改成 5:1（每 5 层 SWA + 1 层 full attention），窗口大小从 4096 缩到 1024。

原文第 9 节。OpenAI 自 GPT-2（2019）以来首次发布开源模型，2025-08。两个 size：gpt-oss-20b 和 gpt-oss-120b。

总体架构

整体骨架”很眼熟”——所有组件都在其他模型中见过。3.6B 激活参数，MoE + 滑动窗口 attention + GQA。

原文第 19 节。小米 2025-12 发布的 309B MoE（15B 激活），benchmark 接近 DeepSeek V3.2，参数只有一半，推理更快。

关键设计

极激进滑动窗口

• 5:1 SWA + global attention（与 Gemma 3 同款比例）
• 滑动窗口大小 = 128 —— 比 Gemma 3 的 1024 还小 8×
• 作者说这是已知的”最大 SWA 模型”