Gated DeltaNet

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。一个线性 attention 变体，是 Qwen3-Next 的核心组件。

一句话

Gated DeltaNet 是 DeltaNet + Mamba 风格 gating 的组合：

• DeltaNet：用 q / k / v / α / β 维护一个fast-weight memory，按 delta rule 更新（线性 O(n) 缩放）
• Mamba gating：额外用门控机制控制 memory 写入/读取

→ 本质是”线性 attention 的现代变种”，常被拿来做 3:1 混合中的”线性那 3 层”。

DeltaNet 是什么

DeltaNet 起源：用一个 fast-weight memory（类似 RNN 的 hidden state）来记录历史信息。Q 读取，α / β 控制更新强度。

为什么不直接用 linear attention

• 早期 linear attention（2020 Transformers are RNNs）总掉精度，所以没在 SOTA 模型中落地
• DeltaNet 通过 delta rule update，比”加性”linear attention 更精细
• Gated DeltaNet 加上 Mamba 的 gating，更稳定

与 Mamba-2 的对比

“Mamba keeps a state with a learned state-space filter (essentially a dynamic convolution over time). DeltaNet keeps a tiny fast-weight memory updated with α and β and reads it with q, with small convolutions only used only to help form q, k, v, α, β.”

两者都属于”linear-time, cache-free”族，本质都是 state-space 风格的 update，但具体数学结构不同。

谁在用

• Qwen3-Next：3 层 Gated DeltaNet + 1 层 Gated Attention 3:1
• Kimi Linear：进一步改进为 [[KDA（Kimi Delta Attention）|KDA]]（channel-wise gate）
• Nemotron 3：用 Mamba-2（DeltaNet 的近亲）

图示

Figure 36: The Gated DeltaNet + Gated Attention hybrid mechanism. Note that these are arranged in a 3:1 ratio.

相关文章

• Gated Delta Networks: Improving Mamba2 with Delta Rule

相关笔记

• [[KDA（Kimi Delta Attention）]]
• [[Qwen3 系列]] Qwen3-Next
• [[Kimi 系列]] Kimi Linear
• [[Nemotron 3]]

来源

The Big LLM Architecture Comparison, section 12.2, 14 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison