来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。

一句话

在序列开头放一个”永远被 attend 到”的特殊 token，让长上下文 attention 稳定。这个特殊 token 会自然学到”整序列通用信息”。

起源

Efficient Streaming Language Models with Attention Sinks 论文。

原文第 9 节。OpenAI 自 GPT-2（2019）以来首次发布开源模型，2025-08。两个 size：gpt-oss-20b 和 gpt-oss-120b。

总体架构

整体骨架”很眼熟”——所有组件都在其他模型中见过。3.6B 激活参数，MoE + 滑动窗口 attention + GQA。