KDA - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/kda/ KDA - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 06 Jun 2026 00:00:00 +0000 KDA（Kimi Delta Attention） https://blog.vllbc.top/kdakimi-delta-attention/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/kdakimi-delta-attention/ KDA（Kimi Delta Attention）

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。Kimi Linear 对 [[Gated DeltaNet]] 的精细改进。

一句话

KDA = 把 Gated DeltaNet 中的标量 gate 改成 channel-wise gate（每个 feature 通道独立）：

]]> Kimi 系列（K2 / K2 Thinking / Kimi Linear） https://blog.vllbc.top/kimi-%E7%B3%BB%E5%88%97/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/kimi-%E7%B3%BB%E5%88%97/ Kimi 系列（K2 / K2 Thinking / Kimi Linear）

原文第 8、14 节。Moonshot AI 的旗舰开源系列。K2 是 1T 参数的”超大杯”，Kimi Linear 是 2025 年 10 月推出的线性注意力版本。

]]>