原文第 3、23 节。Google 的 Gemma 系列一直是”被低估”的高质量开源模型——27B 这个 size 区间在 Mac Mini 上都能跑。

Gemma 3（2025 年初）

3.1 [[滑动窗口注意力（Sliding Window Attention）]]

Gemma 2 已经用滑动窗口，Gemma 3 进一步把 local:global 比例从 1:1 改成 5:1（每 5 层 SWA + 1 层 full attention），窗口大小从 4096 缩到 1024。