来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。

一句话

把 attention 从”每个 token 都能 attend 所有 token”变成”每个 token 只能 attend 邻近 window 内的 token”——KV cache 内存大幅下降。

起源

2020 年 LongFormer 论文首次提出。Gemma 2 是首个在主流开源 LLM 中使用 SWA 的。