RLVR 用「答案对错」驱动推理模型自我改进，但探索空间为什么会收缩、学习信号到底落在哪些 token 上，一直缺少细粒度答案。 中国人民大学高瓴人工智能学院的这篇技术报告把 RLVR 训练拆成空间边界、熵–性能交换、性能转换三个层次， 逐层给出度量、实验和落点方法，并在 GRPO 上提出两种几行代码就能实现的优势塑造。
报告的第一判断：SFT 与 RL 是两种完全不同的探索操作。SFT 利用外部数据显著抬高 Pass@k 上限，RL 几乎不动 Pass@k，只把 Pass@1 往前推；两者都无法「单向扩张」能力边界，训练更多是重塑可解集合。
第二判断：熵的下降由负样本驱动，而学习发生在低 PPL、靠后位置的少数高熵 token 上。上升期模型主要靠惩罚错误路径削掉无关词元、固化格式；平台期超过 99% 的 token 概率几乎不动，更新集中在形式推理类 token（数字、运算符）上。
第三判断：既然学习集中在这两类「特殊 token」上，就直接给它们加权——按对数 PPL 标准化值压低高 PPL 样本的优势（α=0.01），按相对位置加偏置（γ=0.1，仅在平台期第 200–300 步施加）。 论文报告平均相对提升 1.51%（Qwen2.5-7B）与 2.31%（Qwen2.5-Math-7B），但绝对值提升很小，且两个百分比与自家表 4 对不上。
先建立共同认知：探索是什么、它受什么约束、为什么只看最终分数不够。
RLVR 的循环很朴素：模型对题目采样多个回答，验证器只给 0/1 奖励，算法强化正确路径、压制错误路径，然后重复。和 RLHF 的区别在于奖励来自规则而非偏好模型；和 SFT 的区别在于训练数据全部由模型自己生成。这带来一个结构性约束：模型只能在自己已经踩过的轨迹上自我强化，新技能要靠探索去发现。
探索受能力边界约束——边界之外的问题，无论 RL 怎么优化都解不出来。论文引用的经典观点是把策略熵视作不确定性的度量：起始时探索空间大，随着正确轨迹被强化，置信度上升、熵下降，最终停在「不确定性 vs 性能」的某个折中点上。于是问题变成三个：
RL 强化的是模型已经采到过的正确路径，于是首答更准；但新的正确路径并不会凭空出现。Pass@k 才是「同一个问题最多试 k 次能否解出」的度量，更接近能力上限。论文用 k=640 次采样比较三种模型：基座 Qwen2.5-Math-7B、SFT 版 DeepSeek-R1-Distill-Qwen-7B、再经 RL 的 Skywork-OR1-Math-7B。
这个视角下，「探索空间收缩」不是坏事——它是 RL 用宽度换深度的必然结果；问题只在于深度是否值得，以及能不能把换来的深度再高效地转化成宽度。
论文用三个指标把「谁拓宽、谁收缩」量化出来：Pass@k 曲线、答案多样性、不可解问题集合。
强项：Pass@k 显著高于基座；Rollout Branching Factor（每步 top-95% 概率质量内的候选 token 数）整体上移，单域 SFT-Math 和多域 SFT-All 都比基座高。
代价：答案多样性同样下降，只不过降幅比 RL 小。
强项：Pass@1 提升明显，策略更确定。
代价：Pass@k 不升反降，答案多样性下降更剧烈，分支因子没有提高——强化的是已经是高概率的那条路。
论文把在 k 次采样后仍无一道正确解的题目集合画成维恩图（AIME24+25 共 60 题）。三个集合没有任何一个被完全包含：基座能解的题 SFT 后可能解不出，反之亦然。这是「训练重塑边界」的直接证据，而不是「训练扩大边界」。
图中三个集合的两两交集与独有部分分别为 11/3/2/1/1/1，但三者的并集计数没有标出，图上也看不出左右两个小圆各自只被第三方「部分覆盖」（1 与 0 同处外圈），因此仅凭图无法推出「RL 的不可解集合更大」这句正文结论。引用时请以正文表述为准。
外部工具是另一条路：用代码解释器辅助推理（TIR）能显著提高 Pass@k，但把 k 拉大之后，经 RL 训练的模型最终会被未做 RL 的对应模型追上甚至反超——RL 在「拓宽边界」这件事上的作用依然有限。
三个层次的实验结论最终收敛成两条可直接作用在 advantage 上的规则，这也是全篇最可复用的部分。
GRPO 训练呈「上升期 → 平台期」两段。上升期里，负样本的平均熵始终高于正样本，且下降更快；只在负样本中出现的 token 熵降得最快。也就是说，初期学习信号主要来自排除错误路径。熵降幅度最大的 token 大多与任务目标无关，而推理关键 token 的频率反而上升；同时三类低质量输出——未包框/多次包框、无关内容、中英混杂——随训练下降。
平台期的高幅度概率更新集中在低 PPL 区；对低 PPL 样本做 token 替换干预，最终答案准确率的变化更小，说明其推理路径更稳健。把优势权重倒向高 PPL 一边，策略熵更高、质量问题回答占比升到约 7%，低 PPL 策略约 3%。
token 熵在序列开头和结尾都高。开头的高熵反映「选哪条路」的广度，替换开头 token 对结果影响巨大；结尾的高熵更多反映最终决策的不确定性，替换影响小，但优化器把奖励偏移到后段效果更好：偏向早期位置的模型平均回答 904 token，偏向后期位置的 1146 token——后段优化让推理过程变长。
位置偏置的精妙处在于乘 sign(A)：正样本额外加奖励，负样本额外加惩罚，方向始终与原始优势一致，只放大「靠后部分」的学习力度。
下面用论文的默认超参模拟。两个滑块各自作用在一条独立的示意序列上：PPL 滑块只改变「谁被加权」，位置滑块只改变「序列哪一段被加权」。数值严格按式 (7)(8)(11)(12) 计算，组内 {μ, σ} 用 [1.2, 1.5, 1.8, 2.1, 2.4] 五个样本的对数 PPL 固定为 ln 1.2 … ln 2.4。
PPL 侧（α = 0.01）。五个样本 ln PPL 依次为 ln1.2 = 0.1823、ln1.5 = 0.4055、ln1.8 = 0.5878、ln2.1 = 0.7419、ln2.4 = 0.8755，均值 μ = 0.5586，总体标准差 σ = 0.2525。于是 PPL=1.2 的样本 w = (0.1823 − 0.5586)/0.2525 = −1.490，权重 1 − 0.01 × (−1.490) = 1.015；PPL=2.4 的样本 w = (0.8755 − 0.5586)/0.2525 = +1.255，权重 0.987。也就是说默认强度下权重只在 0.99–1.02 之间摆动——它是一次偏置而非开关。把 α 拉到 1，两端变成 2.49 与 −0.26，后者意味着优势被翻号，这正是把探索压到极端的后果。
位置侧（γ = 0.1, m = 15, n = −0.5）。取序列位置 10%、30%、50%、70%、90%：r = 15 × (l + 0.5) 得 9、12、15、18、21，代入 σ(d·r)，d = 1，得到 0.9999、0.999994、1.000、1.000、1.000——全部饱和到 1，偏置 b 等于 γ = 0.1。可见在论文参数下，偏置形状由 m 和 n 决定：m 很大、n 为正位移，使 sigmoid 在 [0,1] 区间内全程饱和，因此 b 基本是常数 γ，只是对换符号后整体塞给后段。模拟如实展示这一点，不做美化。
为什么两组分开做？两种方法作用在不同维度（样本 vs 位置），论文也没有报告二者叠加的效果；页面把它们并列展示，而不是假设可加。
工程上要知道两件事：优势塑造的额外开销，与论文提出的「保 Pass@k」路线其实用的是 RFT。
两项优势塑造都在计算完了 GRPO 的组内优势之后进行：
两者都不改变 rollout 次数、不增加采样开销，属于「改一行奖励计算」级别的介入——这也是报告反复强调的：对学习机制的正确理解，可以换来极廉价的改进。
论文考虑到 RL 算力昂贵，用 Rejection-sampling Fine-Tuning（RFT） 来验证保探索策略：Qwen2.5-32B、STILL-3 数据集，每轮选 1.1k 条样本微调，先过规则过滤（必须含 \boxed 答案、至少一个数字、截断答案后内容、3-gram 冗余率不超过 0.31），再叠加三种选择策略之一：掺 5% 负样本、按平均 token 熵选、按平均分支因子（RBF）选。最终方案是「5% 噪声 + 高 RBF」，在 AIME24/AMC23/MINERVA 上 Pass@k 全面超过 Qwen2.5-32B-SimpleRL-Zoo，Pass@1 保持有竞争力。
报告的三个层次首尾相接：先测边界，再找学习落在哪里，最后把结论变成训练时的加权。
读图要点：报告不是「提出一个新算法」，而是一条从度量到干预的因果链。左侧指标负责发现「边界在平移」，中列实验负责定位「学习信号在哪」，右列把定位结果直接变成训练时的权重。RFT 路线属于「保探索」，与两条优势塑造的「提高转换效率」正交。
表 4 是唯一给出完整数字的主结果；下表已逐行重算平均，原表两位小数的舍入误差不超过 0.005。
| 模型 / 方法 | AIME24 avg@8 | AIME25 avg@8 | AMC23 avg@8 | MATH500 avg@8 | Avg. avg@8 | Avg. maj@8 |
|---|---|---|---|---|---|---|
| Qwen2.5-7B BASE | 7.50 | 1.67 | 38.44 | 58.63 | 26.56 | 34.84 |
| Qwen2.5-7B GRPO | 21.30 | 15.40 | 59.38 | 80.83 | 44.23 | 47.38 |
| Qwen2.5-7B GRPO+PPL | 22.08 | 18.75 | 60.31 | 82.90 | 46.01 | 49.69 |
| Qwen2.5-7B GRPO+POSITION | 20.00 | 17.08 | 63.44 | 81.33 | 45.46 | 49.82 |
| Qwen2.5-Math-7B BASE | 15.42 | 7.50 | 42.77 | 57.60 | 30.82 | 38.51 |
| Qwen2.5-Math-7B GRPO | 27.08 | 25.00 | 67.81 | 86.65 | 51.64 | 54.65 |
| Qwen2.5-Math-7B GRPO+PPL | 31.25 | 25.42 | 73.44 | 86.73 | 54.21 | 58.74 |
| Qwen2.5-Math-7B GRPO+POSITION | 33.75 | 22.92 | 71.56 | 86.52 | 53.69 | 56.68 |
来源：原文 Table 4。Avg. 列为四组 avg@8 / maj@8 的等权平均，由本页手算，与原文一致。高亮行为两个模型上 avg@8 均值最高的一项。
论文正文写：相对 GRPO 基线，平均提升 1.51%（Qwen2.5-7B）与 2.31%（Qwen2.5-Math-7B）。用表 4 的四组 avg@8 重算，若按「相对提升」计算：
若按「绝对提升」，两边对不上的方式是相反的：7B 上 PPL 的 Avg. avg@8 比 GRPO 高 46.01 − 44.23 = 1.78，Math 上 POSITION 只高 53.69 − 51.64 = 2.05；而正文的 1.51% 恰好小于 7B 的最大绝对差 1.78，2.31 恰好介于 Math 的最大绝对差 3.75 − 1.00 = 2.75 与 PPL 的绝对差 2.57 之外。换句话说，正文这两个百分比无法由表 4 的 avg@8 列以任何一致的统计口径复原；本页只把它们当「有提升」的方向性陈述，量级以表为准。
上一版笔记给出的 mid（maj）列也有问题：它把 GRPO 的 AIME24 maj@8 记成了「AIME24 的 avg@8」，同时漏掉了 AIME25 两列，导致「AIME24 从 27.08 到 33.75」这一说法实际上跨越了两个不同列。
报告自己给出的三处软肋，加上读表时能看出的两点，共同决定了什么时候别照搬。
论文承认 Pass@k 可能在没有有效推理链的情况下给出正确答案；作者只做了人工抽查，结论是 k 越大这个现象越不明显，但没有系统方法去消除。所有关于「探索边界」的结论都继承这个不确定性。
主实验是 Qwen2.5-Math-7B / Qwen2.5-7B 训练、AIME/AMC/MATH500 评测，保探索实验用 Qwen2.5-32B。形式推理 token 占主导、答案可验证这两个前提在代码、开放式问答中是否成立，报告没有验证；更大模型上的熵–性能交换形状也可能不同。
报告本身声明是此前工作「Decomposing the Entropy-Performance Exchange」的扩展，并整合了另一篇关于代码解释器推理的技术报告；部分结论来自对已有文献的综述（表 2 的四类增强方法），本页引用时应把它们与报告原创实验区分开。PPL 与 Position 两种加权是原创实验，但增益幅度有限，且没有报告二者组合。
一句话：这份报告的贡献是「定位学习信号在哪里」，而不是「把 Pass@1 推高多少」。 想用它指导训练，先确认你的任务和数学推理同构（可验证、长链、形式符号多），再考虑把 PPL 加权当作默认 item，把位置加权当作平台期催化剂。