来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。一个线性 attention 变体，是 Qwen3-Next 的核心组件。

一句话

Gated DeltaNet 是 DeltaNet + Mamba 风格 gating 的组合：

• DeltaNet：用 q / k / v / α / β 维护一个fast-weight memory，按 delta rule 更新（线性 O(n) 缩放）
• Mamba gating：额外用门控机制控制 memory 写入/读取

→ 本质是”线性 attention 的现代变种”，常被拿来做 3:1 混合中的”线性那 3 层”。

原文第 6、12 节。Qwen3 是 2025 年开源模型里”六边形战士”，3 个分支（dense、MoE、Next）覆盖了从 0.6B 到 80B 几乎所有 size 区间。

6.1 Qwen3 Dense

Qwen3 dense 有 0.6B / 1.7B / 4B / 8B / 14B / 32B。0.6B 可能是目前最小的”当代”开源 LLM，本地训练 / 推理都极其方便。