[!info] 来源 整理自 ali（@waterloo_intern）于 2026-07-27 发布的 X Article：22580: From GPT2 to Kimi3, Explained。本文不是逐句翻译，而是对原文论证主线的中文重组。

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。一个线性 attention 变体，是 Qwen3-Next 的核心组件。

一句话

Gated DeltaNet 是 DeltaNet + Mamba 风格 gating 的组合：

• DeltaNet：用 q / k / v / α / β 维护一个fast-weight memory，按 delta rule 更新（线性 O(n) 缩放）
• Mamba gating：额外用门控机制控制 memory 写入/读取

→ 本质是”线性 attention 的现代变种”，常被拿来做 3:1 混合中的”线性那 3 层”。