KDA（Kimi Delta Attention）

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。Kimi Linear 对 [[Gated DeltaNet]] 的精细改进。

一句话

KDA = 把 Gated DeltaNet 中的标量 gate 改成 channel-wise gate（每个 feature 通道独立）：

• Gated DeltaNet：每 head 一个标量 gate 控制 memory decay
• KDA：每 head × 每 feature 通道 一个 gate，更精细地控制 memory 读写

→ 论文说能给 memory 更细的控制，改进长上下文 reasoning。

Kimi Linear 的整体结构

• 3 层 KDA + 1 层 MLA + gate 3:1 混合
• MLA（global）层用 [[NoPE（No Positional Embedding）|NoPE]]，让 MLA 跑成纯 MQA
• RoPE 不在 MLA 层用，作者说”位置偏置由 KDA block 处理”

与 Qwen3-Next 的对比

性能

Kimi Linear is as fast as GatedDeltaNet, and much faster than an architecture with multi-head latent attention (like DeepSeek V3/R1), while having a higher benchmark performance.

→ 在 long-context / reasoning benchmark 上linear but no accuracy drop。

图示

Figure 41: An overview of the linear attention hybrid architectures.

Figure 42: Qwen3-Next and Kimi Linear side by side.

Figure 43: Annotated figure from the Kimi Linear paper showing that Kimi Linear is as fast as GatedDeltaNet.

相关笔记

• [[Gated DeltaNet]]
• [[MLA（Multi-Head Latent Attention）]]
• [[NoPE（No Positional Embedding）]]
• [[Kimi 系列]] Kimi Linear
• [[Qwen3 系列]] Qwen3-Next

来源

The Big LLM Architecture Comparison, section 14.5 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison