K2-Think：32B 模型，把六项技术拼成一套推理系统

先建立共同认知：长链推理把训练成本和推理成本同时推高，部署还要面对串行生成的延迟。

2025 年的前沿推理模型普遍用长链 CoT：先写很长的中间步骤，再给答案。长链带来能力，也带来成本。 论文 §1 把这条路线概括为 large-scale SFT + RL，并引用 Snell et al. 2025 的观点： 在某些区间，推理时多算可能比把模型做大更划算。这句是引用，不是 K2-Think 自己的实验结论。

但推理时多算不是免费的。Best-of-N 要生成 N 条完整链，验证器还要比较；长链本身又是串行解码， 受内存带宽限制。论文 §2.4 说，典型云环境的 nominal 吞吐约 200 tok/s，32,000 token 要几分钟； WSE 上约 2,000 tok/s，16 秒完成。

所以问题不是「32B 能不能接近大模型」这一句，而是三件事同时成立：后训练配方能补能力， 测试时脚手架能补分数，部署硬件能把延迟压到可交互。论文把这三段拆成六根支柱。

论文的评估也围绕这三段展开：Table 2 拆测试时组件，Table 3 拆输出 token，Table 1 比最终系统。 这三张表是理解全文的主线。

论文的定位不是单点算法，而是把后训练、测试时和部署接成一条流水线；先看它对比的两条旧路，以及最接近的 PlanGEN。

论文的 novelty 不是发明 BoN 或 planning，而是把「Plan-Before-You-Think」与 response-level BoN 组合。§4 的原句是：

“Importantly, they use Best-of-N with verifiers on the plans: we use it for the generated responses.”（§4）

论文把 novelty 定位为组合（§4：“Our novelty is to combine…”）；但 §2.3 又说这套 test-time scaffolding “integrates an original approach”（Plan-Before-You-Think 是其中一部分）。两处并列，页面不替作者下「六项技术没有一项是全新的」这种判断；贡献还包括工程化和公开部署；硬件部署（Cerebras WSE）是六支柱/系统贡献之一（§1、§2.4），但不在 §4 的 novelty 原句中。

SFT 与 RLVR 决定底座能力；规划和 Bo3 决定同一条 query 能榨出多少分；交互可以逐基准看四项配置。

Table 2 把测试时分成了 2×2：是否加 Plan，是否加 Bo3。四项配置在四个数学基准上的分数如下。 点击基准切换；读数给出完整系统相对 checkpoint 的绝对点差。

四项配置的排序并不整齐：AIME 2024 上仅 Plan 反而低于 checkpoint（85.21 vs 86.26）； HMMT25 上仅 Plan 为 71.87，高于仅 Bo3 的 71.16；完整系统在四个基准都最高。 论文表注说 “The greatest gains come from Best-of-3 sampling”，但按表内数字复算，HMMT25 上仅 Plan 相对 checkpoint 为 71.87 − 66.46 = 5.41 pp，大于仅 Bo3 的 71.16 − 66.46 = 4.70 pp。推断

另一个容易误读的点是 Bo3 的收益并不等于「多生成 3 条就线性涨分」。Table 2 里，Bo3-only 相对 checkpoint 的分数在四个基准上并不相同；完整系统再加 Plan 之后，AIME 2024/2025 只比 Bo3-only 高 0.06 / 0.02，而 HMMT25/Omni-HARD 高 2.59 / 1.26。组合收益依基准而变。

SFT 把 Qwen2.5-32B 拉到会写长链；RLVR 用 Guru 的六域可验证 prompt 继续优化；部署侧的数字则绑定 WSE。

SFT 阶段，论文用 AM-Thinking-v1-Distilled 对 Qwen2.5-32B 做监督微调，代码基于 LLaMA-Factory（§2.1）。 训练早期（约 0.5 epoch）AIME 2024/AIME 2025 快速上升，之后分别稳定在约 79.3% / 72.1% pass@1； LiveCodeBench 较慢但稳定地升到 56.4%； AIME 2024 的 pass@k 在 k≈128 时饱和在 93.3%（§2.1.1）。 这些是 SFT checkpoint 的数字，不是最终系统。

RLVR 用 Guru 数据集，约 92,000 条可验证 prompt，覆盖 Math、Code、Science、Logic、Simulation、Tabular 六域； 实现是 verl + GRPO（§2.2）。论文报告：从 base 直接 RL 在 AIME 2024 上 “achieves nearly 40% improvement”，而从 SFT checkpoint 出发只有 “5% improvement”； 作者怀疑重度 SFT 限制了后续探索（§2.2.1）。原文没有说明这两个百分比是相对还是绝对口径。

论文还报告了一个负面结果：先限制到 16,000 token 再扩到 32,000 token 的多阶段训练， 没有恢复到 baseline SFT 的表现；作者明确说没有评估 32k→48k 的扩展（§2.2.1）。

部署侧，WSE 上约 2,000 tok/s，32,000 token 约 16 秒；对比典型云环境 nominal 200 tok/s， 是 10 倍。片上带宽 25 PB/s（§2.4）。这两个派生数字都可以直接复算： 32,000 ÷ 2,000 = 16 s， 2,000 ÷ 200 = 10×。

Table 3 · 平均生成 token 数；括号内为 K2-Think 相对 SFT+RL checkpoint 的降幅（原文印刷值）。

Table 3 表注写 “An analytical comparison of the average number of tokens used between the full K2-Think system and the post-training checkpoint” 与 “our response length decreases on average, with the percentage of reduction included in the shaded cells”；§3 正文进一步写降幅 “by up to nearly 12% in comparison to the post-training checkpoint”。本页按原始 token 数复算六项算术平均 7.03%； LCBv5 印刷降幅 −10.53%，按 13,589 → 12,166 复算为 −10.47%（1,423 / 13,589）。两处并列，不替原文取整。

Table 3 还给出外部对照：K2-Think 的平均输出比 Qwen3-235B-A22B 短；在数学上与 GPT-OSS 120B 接近， 但在代码和科学上比 GPT-OSS 120B 长（§3 正文）。Table 3 的六项降幅从 2.12% 到 11.73%，说明降幅因基准而异。 推断（由 Table 3 复算）。

推理流水线是 Figure 5 的文字版；训练流水线和部署优化在下方单独标出。

推理链路的关键不是某一个模型，而是两个外部模型：规划器和验证器。规划器只提取关键概念、生成高层计划， 不提供答案或推理 trace（§2.3）；验证器对 3 条候选做两两比较，淘汰较差的一条（§2.3）。 论文把 N=3 描述为 “a reasonable improvement with low cost”，但没有给出总成本数字。

训练链路是 SFT → RLVR；部署链路是 speculative decoding + WSE。论文把六项技术分别放在这三段， Figure 5 只画测试时部分。

Table 1 完整转录；先看 headline，再看逐基准与加权口径——结论会随口径变化。

Table 1 · 完整转录 12 个模型 × 9 个指标（百分比）。标 * 的值直接取自已发表结果；其余为本地或付费 API 的 avg@16（§3）。† 表示原始 DeepSeek R1 与 V3.1 的结果；论文称 DeepSeek R1-0528 与 V3.1 相近，未单列（Table 1 表注）。

Table 1 表注：上半为开源模型，下半为 proprietary；K2-Think 的 67.99 是四个数学基准的 Micro-Avg.。 表中没有独立的参数量列；§3 正文在比较时写 “DeepSeek V3.1 671B”。其余有参数的模型把规模写在名字里；o3 High、Gemini2.5 Pro、GPT-5 High 等 proprietary 模型未给参数量，DeepSeek R1 也未给。

K2-Think 的数学 micro-average 是 67.99， 高于 GPT-OSS 120B 的 67.20（+0.79 pp）、 DeepSeek V3.1 的 64.43（+3.56 pp）和 Nemotron 32B 的 65.78（+2.21 pp）。 在 Table 1 的开源模型中，这个数学 micro-average 最高；但它低于 o3 High 的 68.68、 Gemini 2.5 Pro 的 73.82 和 GPT-5 High 的 80.21。

逐基准看，排序会变。GPT-OSS 120B 在 AIME 2025（84.59 vs 81.24）和 HMMT25（81.88 vs 73.75）更高； K2 在 AIME 2024（90.83 vs 89.58）和 Omni-HARD（60.73 vs 57.76）更高。 DeepSeek V3.1 在 AIME 2024（91.87 vs 90.83）、AIME 2025（82.49 vs 81.24）、HMMT25（83.54 vs 73.75） 三项都高于 K2，只在 Omni-HARD（53.22 vs 60.73）低于 K2。

为什么 micro-average 仍然领先？§3 的定义是总正确数除以总题数；四套数学题的题数是 30、30、30、173， Omni-HARD 占 263 题中的 65.8%。因此 173 题的 Omni-HARD 对排序的影响远大于三套 30 题的 AIME/HMMT。 推断（由 Table 1 与 §3 的题数定义复算）：这不是说论文的指标有问题——Micro-Avg. 是论文明确选择的口径—— 但它意味着「数学领先」的结论对题数分布敏感。

代码和科学不是同一幅图。K2 的 LCBv5 为 63.97， 低于 GPT-OSS 20B 的 73.22、GPT-OSS 120B 的 74.53；GPQA-D 为 71.08， 低于 Nemotron 32B 的 74.98、GPT-OSS 120B 的 77.04；HLE 为 9.95， 低于 GPT-OSS 120B 的 18.58。 SciCode sub 为 39.2，接近 Qwen3-235B-A22B 的 39.3。 论文自己也写 HLE “not the highest”、GPQA “superior to most open-source models except...”。

论文自己报告了安全红队、训练负面结果与未覆盖的设置；这些决定了这套配方什么时候别用。

Table 8 · Safety-4 宏平均；细分的 Table 4–7 未完整转录，仅引 Table 6/7 两项最低值。

Table 8 的 0.75 是四个维度宏平均的算术平均：(0.83 + 0.89 + 0.56 + 0.72) / 4。

Safety-4 宏平均 0.75：High-Risk Content Refusal 0.83、Conversational Robustness 0.89、 Cybersecurity & Data Protection 0.56、Jailbreak Resistance 0.72。论文说这是 “solid baseline”， 同时承认 cybersecurity、jailbreak、refusal calibration 需要继续改进。Table 4–7 未完整转录；仅引 Table 6/7 两项最低值。 Table 6 的 PromptExtractionRobustness 为 0.35、Table 7 的 LatentJailbreak 为 0.37，分别是两张表的最低项；§3.1 正文也承认对 system prompt extraction 有 “some susceptibility”，对 indirect attacks 存在 “weakness”。

什么时候别直接用这套配方：需要严格安全对齐的公开部署，先补 cybersecurity 与 jailbreak； 只有普通 GPU、没有 WSE，2,000 tok/s 与 16 秒不能假定；代码/科学为主时，Table 1 里部分更大模型更强，但 GPT-OSS 20B 在 LCBv5 上也高于 K2（73.22 vs 63.97），规模不是唯一因素。推断（由 Table 1 对照）； 底座不是 Qwen2.5-32B 时，论文未报告其他底座的迁移结果（§2）。