Self-Aligned Reward：奖励“离开问题就说不出来”的答案

先建立共同认知：可验证奖励只判断最终答案是否包含 ground truth，不判断推理过程里有多少内容是必要的。

论文把 RLVR 的奖励写成 Eq. 5：答案里出现 ground truth 就得 1，否则得 0。这个信号足够训练出会做题的模型，但它对“过程质量”完全沉默。一个 143.5 token 的简洁解和一个 236.0 token 的冗余解，只要最后答案都对，奖励相同；在 GRPO 的组内归一化之后，它们的优势值也都是 0.5。模型没有任何梯度去偏好前者。

Table 2 用 200 道数学题、6 类答案把这个盲区量化了。SAR 给“正确且简洁”的答案是 1.15，给“正确但冗余”是 1.00；“部分正确但最终答案错”是 −0.01，而不是传统二值奖励的 −0.5；“完全错误或无关”是 −1.44。更反直觉的是“正确但没思考”（直接给答案、只有 5.0 token）拿 −0.04：SAR 不奖励背诵式答案，即使它又对又短。

这就是这篇论文要补的信号：正确性之外，还需要一个连续的、内容感知的“这个答案有多依赖问题”的分数。

已有两条路线：直接惩罚长度（O1-pruner、Efficient Reasoner），或奖励低熵/高置信度；它们都拿到效率，但常常用准确率交换。

Table 1 把不同奖励设计拆成 5 个维度：是否连续、是否只用模型内部信号、是否内容感知、是否保留正确性、是否鼓励简洁。长度惩罚在“简洁”一列打勾，但在“内容感知”和“正确性”两列是叉——它不知道哪些 token 是必要推理。

Table 1：不同奖励设计的比较；SAR 是表中同时勾满五列的一行。

两条长度基线分别是 O1-pruner 与 Efficient Reasoner。O1 的奖励是 RO1 = clip((mean[len(a1..N)] − len(ai)) / len(ai), −1, 1)：比同组平均短的答案得分高。ER 只对正确回答生效，用正确回答长度的均值与标准差做 z-score，再经 sigmoid 映射到 [−1, 1]；错误回答直接给 0（Appendix B.2, Eq. 9–10）。两者都只看长度，不看内容。

代价在 Table 3 的 Average 列很直接：四个模型上，GRPO-O1 与 GRPO-ER 的准确率都低于同模型的 GRPO。长度确实短了，但“短”不是免费的。

摘自 Table 3 的 Average 列；acc 为五个数学基准平均准确率（%），len 为平均答案长度（token）。

另一条路线是奖励低熵/高置信度。Table 5 的消融显示：只用 entropy minimization 奖励（R_EM）时，Qwen3-4B 平均准确率只有 55.46，长度反而升到 1228.8；即使在 verifiable reward 上再加 entropy 项（R_VR + αR_EM），也只有 69.85 / 936.4，低于 SAR 的 71.41 / 894.0。论文的解释是：绝对置信度可以被“过度自信的简单答案”满足，而 SAR 要的是条件于 query 之后的相对下降。

核心公式只有一行：同一答案在无 query 与有 query 下的困惑度相对差，裁剪到 [−1, 1] 后与正确性奖励相加。

可以把 R_SA 读成一句话：“如果把问题拿掉，这个答案会变得多不可能？” 一条为问题量身定做的推理，很多 token 只有看到 query 才容易预测，ppl(a|q) 远低于 ppl(a)，相对下降大；一段可以独立背诵的通用文本，有没有 query 都差不多，相对下降小。由于 ppl > 0，R_SA 恒小于 1；实现里再把下界裁到 −1（§3.2 脚注）。

论文还把它拆到 token 级（Eq. 8）：R_SA = 1 − ppl(a|q)/ppl(a) = 1 − exp( −(1/|a|) Σ log [P(a_j|q, a_<j) / P(a_j|a_<j)] )，与前面的 1 − ppl(a|q)/ppl(a) 一致。定义 v(aj) = log P(aj|q, a<j) − log P(aj|a<j)：第一次从 question 里取信息的 token（Figure 2 的例子是 “Janet”“duck”“16”）v 高；重复已经生成过的信息（第二次说 “Janet”）v 低甚至为负。这解释了 SAR 为什么偏好短答案：答案越往后，能新引入的 query 信息越少。

SAR 的工程卖点是“便宜”：ppl(a|q) 在 GRPO 里已经被 KL 项和重要性采样算过，真正新增的只有 ppl(a) 的一次前向。

论文在 Appendix B.1 给了具体做法：先把 query 换成空问题（仍保留 system prompt），把答案 token 拼回去并修正 position ids，让答案位置连续；然后用当前 policy 对这条“无 query 序列”算一次 log-probs，得到 ppl(a)。ppl(a|q) 则直接复用 rollout 时已有的 log-probs。也就是说，SAR 的额外成本是一次前向，不是两次。

Table 7 报告 Qwen3-4B 前 200 步的 GPU hours（训练时间 × GPU 数）：SA-GRPO 的总耗时是 46.64，GRPO 是 48.08，反而少 1.44；Update 阶段从 15.13 到 15.20，只多 0.07；Rollout 阶段从 32.95 降到 31.44，少 1.51。论文的解释是答案变短后 rollout 本身更快，抵消了额外前向。

Table 7：Qwen3-4B 前 200 步的 GPU hours（Training time × GPU count）。

训练配置见 Table 9：4×H100 80GB，500 步，train batch 128，mini-batch 64，每 prompt 8 条 rollout，max response 4096，KL 系数 1e−3，advantage clip 0.2。SA-GRPO 的 α 默认 0.2；GRPO-O1/ER 的 α 默认 0.05（Appendix B.3）。

把公式放回训练循环：采样 → 复用 ppl(a|q) → 空 query 前向算 ppl(a) → 合成奖励 → GRPO 更新。

这个顺序也解释了为什么 SAR 不会改变原有 RL 算法的骨架：它只是把每个 rollout 的标量奖励从 R_VR 换成 R_VR + αR_SA，后面的 ratio、clip、KL 与 advantage 计算都不动。

Table 3 是主结果：4 个模型 × 7 种方法 × 5 个数学基准。先看完整表，再拆论文摘要里的两个百分比。

Table 3：四个模型在五个数学基准上的完整结果；acc 为准确率（%），len 为平均答案长度（token），AES 为 accuracy-efficiency trade-off score（γ=5）。GRPO-O1/ER 使用 α=0.05，SA-GRPO 使用 α=0.2。

先看 SA-GRPO 相对 GRPO 的四组 Average 对比：Qwen3-1.7B 准确率 54.13 vs 53.37，长度 602.0 vs 762.8；Qwen3-4B 为 71.41 vs 69.07、894.0 vs 1030.6；Phi-3.5-mini 为 46.19 vs 45.91、368.4 vs 448.2；Gemma3-1B 为 32.24 vs 31.78、1017.4 vs 1866.0。四个模型都是准确率上升、长度下降。

但“最佳或接近最佳”不是每个单元格都成立。Table 3 里至少有 7 个单元格不是该列最高：Qwen3-1.7B 的 GSM-sym 67.66（SA-PPO 68.02）与 AIME 13.50（GRPO 13.93）；Phi-3.5-mini 的 GSM-sym 72.72（GRPO 73.76）、NuminaMath 16.08（SA-PPO 17.43）与 AIME 3.22（PPO 3.85）；Gemma3-1B 的 GSM-sym 34.52（GRPO 34.70）与 AIME 2.14（GRPO-O1 2.35）。

另一个反例在 AES：Qwen3-4B 上 GRPO-ER 的 AES 是 1.596，高于 SA-GRPO 的 1.564，差 0.032。AES 是 Δlen + 5Δacc，γ=5 时长度收益可以压过准确率差；它不是“准确率排行榜”。

逻辑推理：SA-GRPO 对 GRPO 在 8 个准确率列里赢 5 个，对 O1/ER 每列都更高

Table 4 把同一套方法搬到 LogicBench 与 ProntoQA（多选题，分别 4 个和 2 个选项；Appendix A.2）。下表全表转录 acc / len。

Table 4(a)：LogicBench；acc 为准确率（%），len 为平均长度（token）。

Table 4(b)：ProntoQA；acc 为准确率（%），len 为平均长度（token）。

论文的计数是：SA-GRPO 在 8 个准确率列中赢 GRPO 5 个（LogicBench 3 个 + ProntoQA 2 个）；SA-PPO 赢 PPO 6 个（3 + 3）。对 GRPO-O1/ER，SA-GRPO 的每个准确率列都更高。长度上，SA-GRPO 在全部 8 列都短于 GRPO，且在多数列短于 O1/ER。

消融：只留 SAR 会塌，只加 entropy 不够

Table 5 在 Qwen3-4B 上拆开 verifiable reward 与 self-aligned reward。R_SA 单独使用（R = R_SA）时平均准确率只有 20.96、长度 84.4：模型学会输出极短但不对的答案。只用 entropy 奖励 R_EM 也不够：55.46 / 1228.8。完整组合 R_VR + αR_SA 是 71.41 / 894.0，准确率比 R_VR + αR_EM 高 1.56 个百分点，长度少 42.4。

Table 5：Qwen3-4B 上的内部奖励信号消融（α=0.2）；R_VR + αR_SA 即 SA-GRPO。

推理行为方面，Table 6 的平均分是：GRPO 43.4，SA-GRPO 43.0，GRPO-O1 40.6，GRPO-ER 41.2（基座 Qwen3-1.7B）。论文据此说 SA-GRPO 保持了与 GRPO 几乎相同的 backtracking / verification / subgoal / enumeration 频率，同时 token 少 30%。但同一模型的 Table 3 长度是 762.8→602.0，相对减少 21.1%；§6.2 的“30% fewer tokens”与这个逐模型值在页脚并列。

SAR 的边界由三件事决定：不能脱离 verifiable reward、只在文本推理上验证、以及“简洁相关”未必是创意任务的目标。

评测范围也有限。训练集是 GSM8k、MATH、NuminaMath 的 train split；GSM-symbolic 与 AIME 只在评测出现（§5.1、Table 8）。逻辑域只测 LogicBench 与 ProntoQA。创意写作、开放式对话、需要发散思维的任务都不在评测里；“简洁 + 与 query 强相关”在这些任务上是否仍是好目标，论文没有回答。

多模态迁移并不稳。Table 10 中 Qwen2-2B-VL 上 SA-GRPO 平均准确率 23.86，低于 GRPO 的 24.80；Gemma3-4B 上 SA-GRPO 60.47，GRPO 60.83。论文 §E.2 正文却写 Gemma3-4B 的 SA-GRPO 平均准确率是 72.64%，并说比最好的 GRPO 变体高 1 个百分点以上；这与 Table 10 的 60.47 / 60.83 并列，页面不替原文消解。

最后是 α。SA-GRPO 默认 α=0.2，GRPO-O1/ER 默认 α=0.05（Appendix B.3）；Figure 3 扫了不同 α 的准确率-长度曲线，但没有给出跨模型、跨任务选择 α 的规则。实际部署时这仍是一个需要验证的超参数。