不管题难不难，推理模型都爱写一样长的思维链。论文先用 GPT-4o-mini 给每道数学题打 1–10 的 AoPS 难度分，再让 GPT-4o-mini 按难度把纯文本 DeepSeek-R1 / QwQ-32B 的长 CoT 压短（§3.1 称压缩用 GPT-4o-mini；A.5 的 gpt4o_DA2 用 GPT-4o）；学生模型先 SFT 学“长度与格式”，再用 DPO 偏好“压缩且正确”的回答。1.5B 模型在 AIME 上从 20.0 升到 23.4，同时 token 从 6768 降到 6192；7B 则是 35.0→31.7，token 6360→5724。
论文先验证一个现象：现有推理模型在简单题和难题上生成的推理长度差不多，即 E[T|d(x)] 对难度 d(x) 不敏感。理想情况应该是难题多想、简单题少想。
方法分两段。数据段：GPT-4o-mini 按 AoPS 标准打 1–10 难度分；纯文本用 DeepSeek-R1/QwQ-32B 生成冗长 CoT，多模态用 GPT-4o；GPT-4o-mini 按难度压缩（§3.1 称 GPT-4o-mini；A.5 的 gpt4o_DA2 用 GPT-4o），得到“难度对齐”的 trace。训练段：SFT 学压缩 trace 的长度和格式；DPO 以压缩 trace 为 preferred、原始长 trace 为 rejected，论文称这样能保正确率；两者串联。
1.5B 的 SFT+DPO 在 AIME 上 23.4（base 20.0），token 6192（base 6768，少 8.5%）；7B 的 AIME 是 31.7（base 35.0，低 9.4% 相对），token 5724（少 10.0%）。
收益不是所有基准都“既短又准”：1.5B 在 AIME/AMC/MATH 上升，GSM8K 略降；7B 在 MATH 上升，AIME/AMC/GSM8K/HMMT 下降。论文的多模态结论主要来自 Figure 1 的柱图，没有逐项数值表。
论文的起点不是“CoT 太长”，而是“长度没有随难度变化”。这既是算力浪费，也说明模型没有学会按需分配思考。
对一个问题 x，记难度为 d(x) ∈ [1, 10]，推理 trace 为 r，长度 T = |r|。现有模型的典型行为是：
理想行为则是：
这会带来两类成本。第一类是显式成本：每个 token 都要付推理算力和延迟，简单题上的冗长 CoT 是纯浪费。第二类是隐式成本：模型没有学会“先判断难度，再决定想多久”，遇到真正难的题时也不一定分配更多计算。
现有 CoT 模型在 GSM8K 和 AIME 上可能都写上千 token；长度主要由模型习惯决定，而不是题目难度。
不是把所有 CoT 压到固定预算，而是让简单题短、难题长；压缩比例随难度变化。
不修改模型结构，也不改解码策略；通过构造“难度对齐”的训练数据，把行为蒸馏进学生模型。
已有工作大致分三类：长度控制、CoT 压缩/蒸馏、SFT+DPO 对齐。论文的差异在于把“难度”作为压缩比例的条件。
L1 用强化学习控制推理长度，让模型在指定 token 预算内作答。它能把长度压到目标值，但预算通常是全局或按题设定的，不直接建模“难度→长度”的函数。
直接用摘要模型压缩所有 trace，简单题和难题用同一套压缩提示；难题可能丢失必要步骤，简单题又压得不够。论文用 Table 4 比较了多种摘要策略。
SFT 能让学生模型模仿压缩 trace 的格式与长度，但论文发现它常为了简洁牺牲正确率：7B SFT 的 AIME 只有 8.4%，远低于 base 35.0%。
DPO 以“压缩 trace 优于长 trace”做偏好；论文称 DPO 能保住正确率，同时观察到 DPO 单独使用时推理长度仍然接近原始长 CoT，效率收益有限。Table 2 的 DPO-only 行并不支持“保住正确率”（见 §06 的并列）。
因此论文的组合是：SFT 先学“怎么写短”，DPO 再学“短也要对”。这不是把两个损失相加，而是两阶段课程：SFT 塑造长度与格式，DPO 在已经会写短的基础上做偏好修正。
方法可以拆成数据管线和训练管线两部分；数据管线的核心是“难度分 → 压缩比例”的映射。
第一步，用 GPT-4o-mini（temperature=0）按 AoPS 竞赛难度给每道题打 1–10 分。评分 prompt 在 Figure 3（纯文本）与 Figure 4（多模态），评分标准覆盖 AMC 8/10/12、AIME、USAMO/IMO 等层级；§3.1 正文却写评分 prompt 在 Figure 18，页面并列两处说法（见 footer）。
第二步，用强教师模型生成长 CoT：纯文本用 DeepSeek-R1 与 Qwen-QwQ-32B，多模态用 GPT-4o。纯文本数据来自 OpenMathReasoning 的 CoTsplit，约 125K 道题；多模态数据来自 LLaVA-CoT-100K 的子集，约 60K 条。
第三步，用 GPT-4o-mini 按难度压缩长 CoT（§3.1 称 GPT-4o-mini；A.5 的 gpt4o_DA2 用 GPT-4o）：难度低的问题大幅删减，难度高的问题保留更多步骤。Table 1 给出不同难度下的压缩比例：
| 难度 d(x) | 压缩比例（纯文本） | 压缩比例（多模态） |
|---|---|---|
| 1 | 79.1% | 49.9% |
| 2 | 84.5% | 47.6% |
| 3 | 87.0% | 43.6% |
| 4 | 88.0% | 40.6% |
| 5 | 88.8% | 35.1% |
| 6 | 89.4% | 29.7% |
| 7 | 90.5% | 16.9% |
| 8 | 90.6% | NA |
| 9 | 90.4% | NA |
| 10 | 88.8% | NA |
Table 1：压缩比例（%）。纯文本随难度上升，8–10 略有回落；多模态在 7 以后没有数据（NA），且整体随难度下降。NA 是原文空缺，不是 0。
难度 1：纯文本 79.1%，多模态 49.9%；两者差 29.2 个百分点。
难度 5：纯文本 88.8%，多模态 35.1%；纯文本比难度 1 高 9.7 个百分点，多模态低 14.8 个百分点。
难度 7：纯文本 90.5%，多模态 16.9%；多模态只压掉 16.9%，更接近目标长度推断（原文只说多模态 CoT 长度跨难度相对均匀、初始 trace 已较优化，未按难度拆分解释）。难度 8–10 的多模态单元格为 NA，页面输出“NA”，不做插值。
学生模型 fθ 对每道题学习压缩后的 trace r̃：LSFT = CE(fθ(x), r̃)。这一步主要让模型学会长度、格式与“按难度分配步骤”的表面模式。
对同一道题，构造偏好对：preferred = 压缩 trace r̃，rejected = 原始长 trace rlong。DPO 让模型提高 r̃ 的相对概率、降低 rlong 的相对概率，同时用 β=0.1 的 KL 约束稳定训练。
论文强调两者的分工：SFT 捕捉的是“推理长度和格式”这类表面模式；DPO 捕捉的是“在压缩条件下仍保持正确”的偏好。单独 SFT 会为了短而错，单独 DPO 会为了对而长；串联后才有“短且尽量对”的行为。
| 策略 | 平均 token | 压缩比例 | 说明 |
|---|---|---|---|
| long_cot | 4702.3 | 0.0% | DeepSeek-R1 原始长 CoT |
| succinct_cot | 3456.2 | 26.5% | 直接让 GPT-4o 写简洁推理 |
| gpt4o_basic | 982.8 | 79.1% | 压缩最多，但常丢难题关键步骤 |
| gpt4o_num | 2106.6 | 55.2% | 结构化编号步骤 |
| gpt4o_DA1 | 2473.4 | 47.4% | 加难度感知，无结构化输出 |
| gpt4o_DA2 | 2036.1 | 56.7% | 难度感知 + 结构化输出，论文采用；A.5 的 summarization 用 GPT-4o |
Table 4：压缩率不是越高越好。gpt4o_basic 压到 79.1%，但定性分析发现它删掉了难题的必要步骤；gpt4o_DA2 以 56.7% 的压缩率保留难度比例，被选为训练数据生成方案。
论文没有报告数据生成的总 token 成本；能确认的是训练配置、数据规模与评测硬件。
| 项目 | 设置 | 说明 |
|---|---|---|
| 纯文本数据 | 约 125K 题 | OpenMathReasoning CoTsplit；DeepSeek-R1 + QwQ-32B 生成长 CoT |
| 多模态数据 | 约 60K 条 | LLaVA-CoT-100K 子集；GPT-4o 生成，GPT-4o-mini 压缩（A.5 的 summarization 用 GPT-4o） |
| 学生模型 | 1.5B / 7B；3B / 7B | 纯文本 R1-Distill-Qwen；多模态 Qwen2.5-VL |
| 微调方式 | LoRA rank 16 | target all；视觉塔与 projector 冻结 |
| SFT | lr 3e−4 / 2e−4，3 epochs | batch 2 × grad-accum 8，有效 batch 128 |
| DPO | lr 7e−6 / 5e−6，3 epochs | β=0.1，sigmoid loss，有效 batch 64 |
| 序列长度 | 4096 | SFT 与 DPO 相同 |
| 硬件 | 8×H100 | 训练；评测用 2×H100 或 4×A100 |
§4.4：论文没有做大规模超参搜索（“No extensive hyperparameter search”），也没有报告数据生成阶段调用 GPT-4o/GPT-4o-mini 的费用。
LoRA rank 16、3 epochs、4096 长度；8×H100 即可完成 1.5B/7B 与 3B/7B 的训练。
125K 题 × 长 CoT 生成 + 压缩，外加 60K 多模态样本；论文没有给 token 账单。推断：教师生成与 GPT-4o-mini 压缩（§3.1 称 GPT-4o-mini；A.5 的 gpt4o_DA2 用 GPT-4o）的 API 成本不可忽略（依据：§3.1 的数据规模与 §4.4 未报告费用）。
多模态答案用 GPT-4o-mini 验证；LLM-as-Judge 也用 GPT-4o-mini，评测本身有 API 成本。
把数据管线和训练管线接起来：教师模型只负责“写长”，GPT-4o-mini 负责“打难度 + 压短”（§3.1 称 GPT-4o-mini；A.5 的 gpt4o_DA2 用 GPT-4o），学生模型负责“学短且对”。
同一道题先有难度分，再有压缩比例；难度分不是训练标签，而是数据生成的控制变量。
SFT 用压缩 trace 做监督；DPO 用“压缩 vs 原始长 trace”做偏好。DPO 的参考模型是 SFT 后的模型推断（论文未逐字说明，依据两阶段串联的训练顺序）。
先看纯文本 Table 2 的完整结果，再看多模态 Figure 1 的正文数值，最后看 LLM-as-Judge 的定性结论。
| Setup | AIME | AMC | Math | GSM8K | HMMT |
|---|---|---|---|---|---|
| Base | |||||
| R1-Distill-Qwen-1.5B | 20.0 (6768) | 54.2 (5381) | 77.0 (3588) | 83.9 (1660) | 12.2 (7176) |
| R1-Distill-Qwen-7B | 35.0 (6360) | 71.1 (4723) | 86.0 (3050) | 88.0 (553) | 24.4 (6876) |
| Thinking | |||||
| L1-Qwen-1.5B-Max | 24.4 (2280) | 67.5 (1976) | 83.6 (1693) | 87.3 (1479) | 11.1 (2272) |
| Nemotron-1.5B | 33.3 (6692) | 62.7 (5186) | 83.0 (3419) | 75.9 (2965) | 14.4 (7751) |
| Nemotron-7B | 31.7 (6770) | 62.7 (5196) | 86.2 (3112) | 89.7 (1850) | 28.9 (6969) |
| R1-Distill-Qwen-1.5B | |||||
| SFT | 5.0 (1081) | 38.6 (699) | 65.2 (526) | 77.6 (241) | 0.0 (845) |
| DPO | 18.4 (6964) | 50.6 (5524) | 74.6 (3864) | 82.9 (1733) | 10.0 (7388) |
| SFT + DPO | 23.4 (6192) | 57.8 (4893) | 79.4 (3269) | 82.3 (1527) | 12.2 (6458) |
| R1-Distill-Qwen-7B | |||||
| SFT | 8.4 (864) | 51.8 (789) | 75.4 (474) | 88.5 (244) | 2.2 (808) |
| DPO | 25.0 (6584) | 62.7 (4932) | 86.0 (3062) | 89.2 (592) | 17.8 (6940) |
| SFT + DPO | 31.7 (5724) | 69.9 (4251) | 88.8 (2745) | 86.9 (498) | 20.0 (6188) |
Table 2：每个单元格是 pass@1，括号内是平均 token 数。高亮行=论文方法（SFT+DPO），不表示该行每列最高。原文 caption 写“seven math reasoning benchmarks”，但表中只有 AIME、AMC、Math、GSM8K、HMMT 五列；页面按实际表格转录，并把 caption 的编号问题列在 footer。
1.5B 的 SFT+DPO 相对 base：AIME +3.4 点（相对 17.0%），token 少 8.5%；AMC +3.6 点（相对 6.6%）；Math +2.4 点（相对 3.1%）；GSM8K −1.6 点（相对 −1.9%）；HMMT 持平 12.2。
7B 的 SFT+DPO 相对 base：AIME −3.3 点（相对 −9.4%），token 少 10.0%；AMC −1.2 点（相对 −1.7%）；Math +2.8 点（相对 3.3%）；GSM8K −1.1 点（相对 −1.2%）；HMMT −4.4 点（相对 −18.0%）。
1.5B · AIME：最大值是 SFT+DPO 23.4，所以柱高 = round(23.4/23.4×1000)/10 = 100.0%；Base = round(20.0/23.4×1000)/10 = 85.5%；SFT = 21.4%；DPO = 78.6%。
7B · AIME：最大值是 Base 35.0，所以 Base 柱高 = 100.0%；SFT = round(8.4/35.0×1000)/10 = 24.0%；DPO = 71.4%；SFT+DPO = 90.6%。
7B · AIME 的 SFT+DPO 不是最高柱，因为 base 35.0 更高；图表不做“方法一定最高”的暗示，只按 Table 2 原始值归一。
柱高下限：归一化后小于 1.2% 的值（包括 0 值，如 1.5B · HMMT 的 SFT 0.0）按 1.2% 计算，另由 CSS 的 2px 最小高度保证可见，仅用于可见性，读数与柱旁数字仍是原值。
7B SFT 在 MathVerse 28%，高于 LLaVA-CoT-11B 22% 与 Qwen2.5-VL-3B 25%；MMStar 51%，高于 45% 与 43%。SFT+DPO 在 MathVision 18%，高于 Qwen2.5-VL-7B 的 14%。
HLE 从 580 降到 411（少 29.1%），MathVerse 从 378 降到 296（少 21.7%）；MathVision 的 SFT+DPO 为 317 token（SFT 308，多 9 token，相对 2.9%），但 pass@1 从 14% 到 18%（4 点）。25–30% 是论文 §5 的总体说法；MathVerse 单基准例子为 21.7%，低于该区间。
论文没有给 Figure 1 的逐项数值表，只给柱图；上面只引用正文明确写出的数字，不把柱高读成精确值。多模态的完整柱图在原文 Figure 1，页面不转录未标注的数值。
LLM-as-Judge 用 GPT-4o-mini 在 clarity、completeness、correctness、redundancy 四个维度打 1–5 分，评的是 100 道数学题的推理 trace。论文的文字结论是：SFT+DPO 最平衡，在 correctness 与 completeness 上高于 base 与 SFT-only，同时保持较低冗余；Figure 2 是柱图，没有逐项分数表。
§1 引言说 reasoning token usage 最多降 30%，§7 结论说 reasoning length 最多降 30%；§5 的纯文本总结说平均降 8–10%；§5 的多模态段落又说相对教师降 25–30%、某些设置降 30–35%。这些数字对应不同模态、不同基线与不同平均口径，页面并列，不替原文合并成一个数。
§5 正文写“DPO-trained models consistently matched or outperformed their base counterparts in accuracy”；Table 2 的 DPO-only 行与此不一致：1.5B 的 AIME 18.4 < 20.0、AMC 50.6 < 54.2、Math 74.6 < 77.0、GSM8K 82.9 < 83.9、HMMT 10.0 < 12.2（五项全低）；7B 的 AIME 25.0 < 35.0、AMC 62.7 < 71.1、HMMT 17.8 < 24.4（三项低），Math 86.0 = 86.0（持平），GSM8K 89.2 > 88.0（一项高）。页面并列两处说法，不替原文合并。
Table 2 caption 写“across seven math reasoning benchmarks”，但表头只有 AIME、AMC、Math、GSM8K、HMMT 五列；正文 §4.1 也明确说 unimodal 用五个基准。页面按五列转录，保留 caption 的编号问题作为并列说明。
论文的边界在数据规模、难度代理、LoRA 容量与评测口径；这些限制直接影响结论能推广多远。
难度分由 GPT-4o-mini 按 AoPS 标准给出，论文没有做与人类评分的一致性分析。评分偏差会沿着“压缩比例→训练 trace→学生行为”传播。
125K 纯文本 + 60K 多模态，相比 DeepSeek-Distill、Nemotron 等大规模数据小；论文在 Limitations 里承认可能限制 OOD 泛化。
训练只用 LoRA rank 16，没有做全量微调；论文承认这可能低估模型容量。评测只用 pass@1，没有 pass@k、多种子或置信区间；1.5B 的 HMMT 只有 12.2%，SFT 单独训练甚至降到 0.0%，推断低资源基准上的方差可能很大（依据：论文只报单次 pass@1，无置信区间）。
多模态评测只保留单图、自由作答样本，排除了多图与部分选择题；因此多模态结论不能直接推广到所有视觉数学任务。Figure 1/Figure 2 只给柱图，没有逐项表；页面不把柱高当作精确数值。
最后是“效率”口径：论文的 token 降幅有时相对 base，有时相对教师，有时是单基准，有时是多模态平均；§1 引言/§7 结论的“最多 30%”不能直接套到 §5 纯文本总结的 8–10%。页面在每个数字旁标明比较对象，避免把不同分母混在一起。