Linear Attention - 标签 - vllbc02's blogs

从 GPT-2 到 Kimi K3：大模型架构如何演进

vllbc — Wed, 29 Jul 2026 00:00:00 +0000

[!info] 来源整理自 ali（@waterloo_intern）于 2026-07-27 发布的 X Article：22580: From GPT2 to Kimi3, Explained。本文不是逐句翻译，而是对原文论证主线的中文重组。

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。一个线性 attention 变体，是 Qwen3-Next 的核心组件。

Gated DeltaNet 是 DeltaNet + Mamba 风格 gating 的组合：

DeltaNet：用 q / k / v / α / β 维护一个fast-weight memory，按 delta rule 更新（线性 O(n) 缩放）
Mamba gating：额外用门控机制控制 memory 写入/读取

→ 本质是”线性 attention 的现代变种”，常被拿来做 3:1 混合中的”线性那 3 层”。

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。Kimi Linear 对 [[Gated DeltaNet]] 的精细改进。

KDA = 把 Gated DeltaNet 中的标量 gate 改成 channel-wise gate（每个 feature 通道独立）：

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

原文第 8、14 节。Moonshot AI 的旗舰开源系列。K2 是 1T 参数的”超大杯”，Kimi Linear 是 2025 年 10 月推出的线性注意力版本。

vllbc — Sat, 06 Jun 2026 00:00:00 +0000

原文第 18 节。NVIDIA 在 2025-12 发布的 Nemotron 3 系列，开源权重 + 技术报告 + 数据集 + 训练代码（与 Olmo 3 透明度相当）。

Nemotron 3 Nano 是 Mamba-Transformer 混合 + MoE：