Kimi K2 → K3：
把稀疏 MoE 推到 2.78T，还要让每 token 只算 104.2B

先把三个约束拆开：总参数、激活参数、长上下文 attention；它们决定 sparse MoE 能不能真的放大。

Dense Transformer 的容量和每 token 计算量绑在一起：参数越多，每个 token 的矩阵乘就越大。 MoE 把这两件事拆开：总参数决定容量，激活参数决定每 token 计算量。K2 是 1.04T 总参数、32.6B 激活参数； K3 是 2.78T 总参数、104.2B 激活参数。两代模型都走这条路，但比例不同。

Sparsity 的定义是 routed expert 总数除以每 token 激活的 expert 数。K2 是 384 个 expert、激活 8 个，sparsity 48； K3 是 896 个 routed expert、激活 16 个，sparsity 56。 这里有一个容易读错的点：K3 的 sparsity 更高，但它每 token 激活的 expert 绝对数量也更多（16 对 8）。 “更稀疏”说的是比例，不是每 token 更省计算。

K2 的 sparsity scaling law 给了这条路的依据：在固定激活参数（也就是固定 FLOPs）下，增加 routed expert 总数会持续降低训练和验证 loss。 在验证 loss 1.5 处，sparsity 48 相对 sparsity 8/16/32 分别把 FLOPs 降低 1.69× / 1.39× / 1.15×。 但 sparsity 越高，EP 通信、专家负载均衡和显存碎片越难处理；这不是免费的容量。

第二条约束是 attention。K2 的对照实验把 attention head 从 64 加到 128：在 128k 序列下，推理 FLOPs 增加 83%， 而验证 loss 相对 64-head 配置只改善 0.5%–1.2%。所以 K2 选了 64 个 head，而不是跟 DeepSeek-V3 一样用 128 个。 K3 把上下文推到 1M，attention 的成本问题只会更尖锐；混合 linear attention 是为此付出的结构代价。

第三条约束是稳定性。K2 在 9B activated / 53B total 的 MoE 上放大 vanilla Muon 时，最大 attention logit 很快超过 1000， 这种量级的 logit 通常会导致 loss spike，偶尔发散。QK-Norm 又不能直接用在 MLA 上，因为 MLA 的 Key 矩阵在推理时并不完整物化。 这是 QK-Clip 出现的直接原因：不去改 attention 的计算图，而是在 optimizer step 之后缩放 Q/K 投影权重。

K2 不是 V3 的等比放大：它增加专家、减少 attention head；K3 再把 MLA 换成 3:1 混合。

DeepSeek-V3 的配置是 671B 总参数、37B 激活参数，256 个 expert、每 token 激活 8 个， 128 个 attention head、61 层、3 个 dense layer。它证明了 MLA + MoE 可以在开源模型里同时拿到容量和推理效率。

K2 从这张表出发，做了四处改动：总参数升到 1.04T，expert 增到 384， attention head 降到 64，dense layer 减到 1。 表 2 的 Δ 列写的是：总参数 +54%、expert +50%、attention head −50%、dense layer −67%；激活参数 −13% 是这四项的后果，不计入改动数。 这些改动不是拍脑袋：sparsity 48 来自 scaling law，64 个 head 来自 128k 下 83% 推理 FLOPs 换 0.5%–1.2% loss 的取舍。

Kimi K2 Table 2 的 DeepSeek-V3 / K2 对照；K3 列来自 Kimi K3 Table 1。K3 的 context 是训练上下文，V3 的 context 未列在同一张表里。 K2 的 128K 取自 Kimi K3 Table 1 的 K2 列；K2 §2.5 的上下文课程见 §04。

K2 的代价出现在系统侧。Muon 带来 logit 爆炸，需要 QK-Clip；EP 通信要跟 interleaved 1F1B 重叠，并且把 EP 压到 16； 激活内存靠 selective recomputation、FP8-E4M3 1×128 存储和 CPU offload 才放得下（§2.4.3）。 这些问题不会因为换一代模型消失，K3 只是把规模又推高了一档。

K3 的选择不是继续加 MLA 层，而是把 attention 拆成两条路：每个 block 里 3 层 KDA + 1 层 Gated MLA， 末尾再补 1 层 Gated MLA，最终是 69 KDA + 24 MLA = 93 层。 同时把 routed expert 从 384 增到 896、每 token 激活从 8 增到 16、层数从 61 增到 93。下一节拆这两套机制。

K2 的关键是让 Muon 的 logit 不炸；K3 的关键是让固定状态的 KDA 与周期性全局 attention 共存。

QK-Clip：用上一步的 max logit 决定下一步缩放多少

对每个 attention head h，先算这个 batch 里的最大 logit：

如果 S_max^h 超过阈值 τ，就把这个 head 的 Q/K 投影权重按 γ_h 缩放：

这个操作不改当步的前向和反向：S_max^h 只作为“下一步该缩多少”的信号，真正的缩放发生在 optimizer step 之后。 对 MLA，缩放要拆到分量上：q^C 和 k^C（head-specific）各乘 √γ_h，q^R（head-specific rotary）乘 γ_h， k^R（shared rotary）保持不动，避免影响其他 head。K2 取 τ = 100。

论文还报告了 QK-Clip 的“自关闭”行为：在 K2 的前 70,000 步里，只有 12.7% 的 attention head 至少触发过一次；训练稳定后 QK-Clip 基本停用（deactivated）。小规模消融用 τ=30 训练 0.5B activated / 3B total 的 MoE，loss 曲线没有明显退化（Appendix D）。

K3 的 3:1 混合：KDA 管常量状态，Gated MLA 管全局检索

K3 的 backbone 每个 block 是 3 层 KDA 后接 1 层 Gated MLA，比例 3:1。 这个模式重复 23 个 block（69/3，由 Table 1 推得），末尾再额外放 1 层 Gated MLA，保证最后一层一定是全局 attention；因此总数是 69 KDA + 24 Gated MLA = 93 层。

KDA 是带 channel-wise forget gate 的 delta-rule recurrence。每个 head 维护一个固定大小的状态 S ∈ R^d_k×d_v， 先做 channel-wise decay，再做 delta-rule 写入：

K3 相对 Kimi Linear 改了两处数值细节。第一，把 log-decay 从无下界的 negative-Softplus 换成 scaled sigmoid： g_min = −5，每个 retention factor α_t,j > e⁻⁵ ≈ 6.7×10⁻³； 16-token tile 的累计 log-decay 落在 (−80, 0)，倒数重标定小于 e⁸⁰，留在 BF16 动态范围内。 这样 diagonal tile 也能走 dense Tensor Core 矩阵乘，不必单独做 position-pair 计算。第二，输出 gate 从低秩改成 full-rank（Eq.6）。

Gated MLA 负责周期性全局检索。它沿用 MLA 的 latent KV cache，但对所有 MLA 层使用 NoPE：KDA 层提供位置敏感和 recency-aware 的混合， MLA 层只做无位置约束的全局内容交互。这样扩到 1M context 时不需要改 RoPE frequency、也不需要 YaRN 插值；论文把 8K→64K 放在预训练， 256K→1M 放在 cooldown（§3.4）。

Stable LatentMoE：把 routed expert 放进 3584 维 latent

K3 的 routed expert 不在 7168 维 hidden space 里工作，而是先投影到 3584 维 latent（hidden 的 0.5×）， 在那里做 896 选 16 的稀疏 channel mixing。shared expert 保留全宽路径，每层 2 个； routed 侧是 896 个 expert、每 token 激活 16 个，sparsity 56。

极端 sparsity 带来两个失败模式：routed branch 里连续的矩阵乘会让内部激活爆炸；896 个 expert 的负载均衡也超出普通 aux-loss-free bias 的舒适区。 Stable LatentMoE 用三件事处理：expert 聚合后、up-projection 前加 RMSNorm；用 SiTU-GLU 给 gate 和 up branch 同时加软上限； 用 Quantile Balancing（QB）按 router score 的分位数更新 expert bias。SiTU-GLU 的参数是 β₁=4、β₂=25，输出上界 100；SwiGLU 没有这个上界。

AttnRes：在深度方向再做一次 attention

标准残差把所有前层信息压进一个状态 h_l，深层只能按固定方式累加。AttnRes 给每层一个可学习的 pseudo-query q_l=w_l， 对 embedding 和之前各层的输出做 softmax 加权，再求和。完整版要对所有前层做 attention，显存是 O(Ld)；K3 用 block 版： 把层分成 8 个 block、每块 12 层，block 内先求和，block 间再做 attention，显存降到 O(Nd)，N≈8 就能恢复大部分收益。 K3 的最后一块不满 12 层，加上 embedding 一共 9 个 block（§2.2）。

这一节只算系统账：并行度、激活内存、上下文课程和部署量化。

K2：15.5T token 的 WSD 课程

K2 先用 4,096 token 的上下文预训练：前 10T token 在 500 步 warm-up 后保持 2e-4 的常数学习率， 后 5.5T token 用 cosine 从 2e-4 降到 2e-5；weight decay 0.1，global batch 67M token。 收尾的 annealing 用 400B token、4k 序列，再用 60B token、32k 序列； 最后用 YaRN 把上下文拉到 128k。

集群是 NVIDIA H800，每节点 2 TB RAM、8 张 GPU，节点间 8×400 Gbps RoCE（§2.4.1）。 并行策略是 16-way PP + EP16 + ZeRO-1；BF16 参数加 FP32 梯度累积缓冲约 6 TB， 分布在 256 张 GPU 的 model-parallel group 上，每张卡为所有状态留约 30 GB。 K2 没有用 DualPipe：DualPipe 会把参数和梯度的显存翻倍，需要更高并行度来补，反而增加 PP bubble 和 EP 开销。

激活内存靠三层处理：LayerNorm、SwiGLU、MLA up-projection 和 MoE down-projection 做 selective recomputation； MoE up-projection 和 SwiGLU 的输入压到 FP8-E4M3 的 1×128 tile（FP32 scale）只用于存储，不进入计算； 剩余激活 offload 到 CPU，copy engine 与计算/通信重叠（§2.4.3）。

K3：8K→1M 的上下文课程

K3 的上下文不是一步到 1M：预训练从 8K 到 64K，cooldown 从 256K 到 1M；MLA 层用 NoPE，位置信息由 KDA 的 gating 和 decay 隐式提供 （§3.4）。这让长上下文扩展不需要改 positional encoding 的参数。

3T 级 MoE 的 EP 负载均衡用 MoonEP：它要求每个 rank 收到恰好 S×K 个 token，靠动态冗余 expert 做到完美平衡； 理论上每个 rank 最多需要 E/R 个冗余 expert，且这个界基本是紧的（essentially tight）。完美平衡还让计算形状静态化，省掉逐层 host 同步； 通信缓冲从最坏情况的 S×K×R 降到固定的 S×K（§5.2.1）。

长上下文推理侧，K3 把 KDA 的固定状态和 MLA 的 KV cache 放进同一个 paged pool，统一 page 字节大小； KDA prefix cache 的 block 粒度被迫落在 1,024–6,144 token（§5.4.1）。 部署侧从 SFT 开始做 QAT：routed expert 权重用 MXFP4，激活用 MXFP8，attention projection、latent MoE projection、shared expert 和 router 保持更高精度； RL 的 rollout 和 training 共用同一套量化方案，避免 train–inference mismatch（§4.1.4）。

Kimi K2 §2.4–2.5；Kimi K3 §3.4、§4.1.4、§5.2.1、§5.2.2、§5.4.1。K3 的总预训练 token 数本页未获取；K2 的部署量化方案本页未获取。

看 block 结构：KDA 管常量状态的长序列混合，Gated MLA 管周期性全局检索；AttnRes 在深度方向再做一次选择。

读图：四种“选择”各管一段

1. KDA 选择保留/写入。 channel-wise decay α_t 决定旧状态保留多少，β_t 决定 delta-rule 写入多强；状态大小固定，不随序列长度增长。
2. Gated MLA 选择全局检索。 每 4 层做一次全局 attention，用 latent KV cache 保留 token 级内容交互；NoPE 让 1M 扩展不需要改位置编码。
3. Stable LatentMoE 选择容量。 896 个 routed expert 中每 token 选 16 个，在 3584 维 latent 里计算；2 个 shared expert 走全宽路径。
4. AttnRes 选择深度。 每个 block 用 pseudo-query 对 embedding 和之前 block 的输出做 softmax 加权，让当前层能选择性读取更早的表示（Kimi K3 §2.2）。

Kimi K2 Table 2；Kimi K3 Table 1、§2.1、§2.2、§2.3、§5.4.1。K2 的 128K 取自 Kimi K3 Table 1 的 K2 列；K2 §2.5 的上下文课程见 §04。

先看条件再看数字：K2 是 non-thinking（长上下文任务按 128K 评测，K2 §4.1.1）；K3 是 max effort、temperature 1.0（K3 §6.1.3）；两套 benchmark 不能逐项横比。

Kimi K3 Table 1：K2 与 K3 的架构对照；Δ 列是表内给出的相对变化。K2 的 128K 取自 Kimi K3 Table 1 的 K2 列；K2 §2.5 的上下文课程见 §04。

先看 2.5× 的口径。K3 论文用拟合的 scaling-law 曲线报告：在 held-out OOD 验证数据上，K3 相对 K2 有约 2.5× 的 overall scaling efficiency；这是“达到同样 loss 需要多少 FLOPs”的比较， 不是某个 benchmark 的分数提升，也不是 wall-clock 训练时间。K2 的 15.5T token 零 loss spike 同样是训练稳定性结果，不是能力分数。

再看参数账。K3 的总参数是 K2 的 2.67×（2.78/1.04），激活参数是 3.20×（104.2/32.6）。K3 的 sparsity 从 48 升到 56，但每 token 激活的 expert 从 8 个变成 16 个， 激活参数规模也翻了三倍多。因此“更稀疏”只描述 896/16 的比例，不能读成每 token 更省算力。 推断（依据：激活参数 104.2B vs 32.6B，Kimi K3 Table 1；K3 的 2.5× 是匹配 loss 口径）。

Kimi K2 Table 3：non-thinking 设置；输出上限 8192 token（SWE-bench Verified Agentless 为 16384）；Avg@k 见表头。

Kimi K3 Table 2：max reasoning effort、temperature 1.0；HLE-Full 的单元格是 no-tools / with-tools。

K3 的领先不是全表：在 ProgramBench（77.8 对 76.8 / 77.6）、 SWE-Marathon（42.0 对 35.0 / 39.0）、BrowseComp（91.2 对 88.0 / GPT-5.6 Sol 的 90.4；K3 的 91.2 采用 300K 触发的 context compaction，全 1M 无管理为 K3 的 90.4，K3 §6.1.3）和 MCPMark（94.5 对 87.4 / 92.9）上领先；在 HLE-Full（43.5 / 56.0 对 53.3 / 63.0）和 CritPt（23.4 对 28.6 / 32.3）上落后。论文自己的结论也是 overall 仍落后 Fable 5 和 GPT-5.6 Sol， 但在评测套件里持续领先其他 open 和 proprietary 模型（§6.1.4）。

把论文没覆盖的部分写清楚：研究级推理、端到端成本、预训练 token 数、以及 K2/K3 各自的失败模式。

分数边界：HLE 与 CritPt 仍是短板

K3 在 GPQA Diamond 上到 93.5，与 Fable 5 的 92.6、GPT-5.6 Sol 的 94.1 接近； 但 HLE-Full 是 43.5 / 56.0（no tools / with tools），低于 Fable 5 的 53.3 / 63.0 和 GPT-5.6 Sol 的 44.5 / 58.0； CritPt 是 23.4，低于 28.6 / 32.3。论文在结论里也写明，与最强 proprietary 模型的差距仍然存在 （§8）。这些是研究级推理的缺口，不是靠 1M context 或 MoE 容量自动补上的。

效率边界：2.5× 是拟合曲线，不是 wall-clock

K3 的 2.5× 来自 held-out OOD 验证数据上的拟合 scaling-law 曲线（Figure 7）， 比较的是达到同样 loss 所需的 FLOPs。它没有给出端到端训练时长、GPU 成本或推理吞吐的 2.5× 加速； 本页未获取这些系统数字。K2 的 15.5T token 零 loss spike 也一样：它说明 MuonClip 把训练稳定性跑通，不说明 K2 在每项 benchmark 上更强。

数据边界：K3 的总预训练 token 数未获取

K2 明确写了 15.5T token（Abstract），K3 报告本页读到的是数据域、上下文课程和 scaling-law 设置， 总预训练 token 数未获取。因此本页不把两代模型的 token efficiency 直接换算成“每个 token 提升多少”。 K3 的 1M context 是训练上下文长度；本页也没有获取与 K2 Table 3 的 MRCR（128K 下 55.0）同口径的 K3 长上下文检索分数， 所以不把 1M 直接写成“长上下文能力 8×”。

训练边界：QK-Clip 是临时介入，不是万能稳定器

QK-Clip 只约束 attention logit 的增长，不改当步的前向/反向；K2 的统计是前 70,000 步里 12.7% 的 head 至少触发一次， 之后训练稳定、QK-Clip 基本停用（deactivated，Appendix D）。它没有覆盖所有训练不稳定来源： MoE 负载均衡、EP 通信、激活溢出仍然要靠系统侧手段。K3 延续了 K2 的 weight clipping，同时换成 Per-Head Muon， 并加 RMSNorm、SiTU-GLU 和 Quantile Balancing，但这些都是针对特定失败模式的组合，不是通用的“稳定训练”保证。

架构边界：KDA 丢信息，AttnRes 有显存开销

KDA 把历史压进固定大小的 recurrent state，decode 成本不随序列增长，但容量固定意味着信息会被覆盖或衰减； K3 用周期性 Gated MLA 补回 token 级全局检索（§2.1）。 AttnRes 完整版要对所有前层输出做 attention，显存是 O(Ld)；K3 用 8 个 block、每块 12 层的 block 版把显存降到 O(Nd)， 代价是 block 内部的细粒度选择被求和压平（§2.2）。这两种都是有意的取舍，不是免费收益。

什么时候别用

• 需要每 token 更低推理成本。K3 的激活参数是 104.2B，K2 是 32.6B；K3 的 sparsity 更高，但每 token 激活的 expert 从 8 个变成 16 个。要更低的 per-token 计算，应该看更小的激活参数，而不是只看总参数或 sparsity。
• 需要每一层都能精确回看所有 token。KDA 用固定状态换长序列效率，K3 只在 每 4 层插入 1 层 Gated MLA。对逐层精确检索要求很高的任务，这种混合结构是折中，不是 full attention 的等价替代。
• 需要可复现的长上下文分数。K3 的 1M 是训练上下文长度；本页未获取与 K2 MRCR 同口径的 K3 检索分数。上线前要在自己的长上下文任务上复测，而不是把 1M 当成质量保证。
• 需要完整的训练成本模型。K3 的总预训练 token 数未获取，2.5× 又是匹配 loss 的拟合效率；没有端到端时长和成本，不能直接把它当成“训练便宜 2.5×”。