vllbc02滑动窗口注意力（Sliding Window Attention）
滑动窗口注意力（Sliding Window Attention, SWA）
来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。
一句话
把 attention 从”每个 token 都能 attend 所有 token”变成”每个 token 只能 attend 邻近 window 内的 token”——KV cache 内存大幅下降。
起源
2020 年 LongFormer 论文首次提出。Gemma 2 是首个在主流开源 LLM 中使用 SWA 的。
与 Global Attention 配合
实际使用是”局部 + 全局”混合：每隔若干层保留一层 full attention，让全局信息仍能流动。
谁在用 + 配置
| 模型 | local:global 比例 | 窗口大小 |
|---|---|---|
| Gemma 2 | 1:1 | 4096 |
| Gemma 3 | 5:1 | 1024 |
| Gemma 4 | 5:1 | 1024（global 层 V = K） |
| GPT-OSS | 1:1 | — |
| Olmo 3 7B | 5:1（参考 Gemma 3） | — |
| Arcee Trinity Large | 3:1 | 4096 |
| Xiaomi MiMo | 5:1 | 128（极激进） |
| Mistral Small 3.1 | 不使用 | — |
| MiniMax M2 | 默认关闭 | — |
效果
- KV cache 内存大幅下降
- 对 perplexity 几乎无影响（Gemma 3 论文消融）
- 推断：SWA 减少 memory 但不减少 latency（所以 Mistral Small 3.1 放弃）
对比图
Figure 11: Annotated figure from Gemma 3 paper showing the KV cache memory savings via sliding window attention.
Figure 12: A comparison between regular attention (left) and sliding window attention (right).
Figure 13: Sliding window attention has little to no impact on perplexity (Gemma 3 paper).
相关笔记
- [[Gemma 系列]]
- [[GPT-OSS]]
- [[OLMo 2]] Olmo 3
- [[Arcee Trinity Large]]
- [[Xiaomi MiMo]]
- [[Mistral 系列]]
来源
The Big LLM Architecture Comparison, section 3.1 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison