Kimi - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/kimi/ Kimi - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Wed, 29 Jul 2026 00:00:00 +0000 从 GPT-2 到 Kimi K3：大模型架构如何演进 https://blog.vllbc.top/%E4%BB%8Egpt-2%E5%88%B0kimi-k3/ Wed, 29 Jul 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/%E4%BB%8Egpt-2%E5%88%B0kimi-k3/

[!info] 来源 整理自 ali（@waterloo_intern）于 2026-07-27 发布的 X Article：22580: From GPT2 to Kimi3, Explained。本文不是逐句翻译，而是对原文论证主线的中文重组。

]]> KDA（Kimi Delta Attention） https://blog.vllbc.top/kdakimi-delta-attention/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/kdakimi-delta-attention/ KDA（Kimi Delta Attention）

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。Kimi Linear 对 [[Gated DeltaNet]] 的精细改进。

一句话

KDA = 把 Gated DeltaNet 中的标量 gate 改成 channel-wise gate（每个 feature 通道独立）：

]]> Kimi 系列（K2 / K2 Thinking / Kimi Linear） https://blog.vllbc.top/kimi-%E7%B3%BB%E5%88%97/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/kimi-%E7%B3%BB%E5%88%97/ Kimi 系列（K2 / K2 Thinking / Kimi Linear）

原文第 8、14 节。Moonshot AI 的旗舰开源系列。K2 是 1T 参数的”超大杯”，Kimi Linear 是 2025 年 10 月推出的线性注意力版本。

]]>