RLVR 只看最终答案，于是错得离谱的推理只要碰巧答对，也能拿满分；PRM 能看每一步，但一旦当奖励用，策略就会学会刷分，熵崩、回答失控。 论文的答案是：让 ORM 负责「对错」，让 PRM 只负责「组内排序」，用两者的一致性筛选样本，过程分不参与梯度。
本页全部表号、图号与数字以 arXiv 2509.03403v2（2026-05-15 修订）为准；不带版本号的 arXiv 短链请按 v2 打开。
只看结果的奖励会奖励虚假成功：论文在 Qwen2.5-Math-7B 的 2k 条训练前样本上发现，正确回答中有 26.28% 至少一步有缺陷（占全部正确回答，Claude 判定，§3 / Figure 1）；在这部分「有缺陷的正确回答」里，按 PRM 一致性对正确组取 bottom half（后一半）时，PROF 能滤掉 65.88%（占缺陷子集，Figure 1）。把 E[r] 拆成 (1−ε)απ + ε 就能看出：这种「过程坏、结果对」的样本在给模型错误的梯度。
但把 PRM 和 ORM 加权混进奖励函数（Blend）又走向另一个极端：PRM 离线训练，在线遇到没见过的难题分布会判错，策略便学会堆冗长步骤刷过程分，熵迅速塌向 0、回答长度失控，测试准确率甚至低于纯 GRPO。
PROF 换了个用法：同一提示多采样，正确组按过程一致性 取前 k+，错误组剔除过程分虚高的样本（取后 k− 或随机取），并让 k+k− 最大以保持正负平衡。PRM 只当排序器，梯度仍来自 ORM，刷分路径被切断。
读完这节你会知道：为什么最终答案的准确率上升，并不等于推理质量上升，以及这在数据里有多普遍。
RLVR 的奖励是一个二元验证器：ro(x, a) ∈ {−1, 1}。它对「怎么得到答案」一无所知。论文 Table 1 给了一个典型例子，一道用天平找假币的题，模型第一步就拿 1g+2g 去对 3g+5g，两边名义重量不一样，后续所有推理都不成立，但最终答案恰好是「2」，于是照样拿满分。
设 z=1 表示过程有效，απ = P(z=1|π)；错误过程蒙对答案的概率上界为 ε，即 P(r=1|z=0) ≤ ε。则
Eπ[r] = Σz∈{0,1} P(r=1|z)P(z|π) ≈ απ + ε(1−απ) = (1−ε)απ + ε）。想最大化的是 απ（过程有效），但 ε 这一项让「过程坏、结果对」的样本也能带来收益。按论文的写法，E[r] 里多出来的 ε(1−απ) 正是来自「z=0 却 r=1」的蒙对样本（注意 r ∈ {−1,1}，这是分析用的近似分解）。训练时，这类样本会给出方向错误的梯度，把错误推理路径也强化了。论文把这种失败叫 outcome reward hacking，也就是「过程-结果错配」。
这不是个例。论文在 Qwen2.5-Math-7B 的 2k 条样本上做了 Claude 审计（§3「False Positives Are Frequent and Filterable」）：26.28% 的正确回答至少一步有缺陷，分母是全部正确回答。口径依据：§3 与 Figure 1 依据的审计问句（附录 Table 5）是 "whether the reasoning process contains any flaw or error"，即只要有一处逻辑或算式错误就算，这与 Figure 5 右图的「flawed-reasoning rate」是同一 notion（原文："Figure 5 reports the same notion after training"）。梗概里另写作「anlayze 2k samples from Qwen2.5-Math-7B」，样本是否预先过滤出正确回答原文未说明推断（依据：原文只写 "2k samples from Qwen2.5-Math-7B"，未交代抽样方式；分母「全部正确回答」只说明统计时以正确回答为分母）。2k 与 04 节每迭代 1024 个提示的关系，原文同样未说明，见 04 节。Figure 1 把缺陷子集按 PROF 的过滤结果一分为二，见下图。
原图是饼图。这里拉成一条，外层 100% 是「全部正确回答」，与 26.28% 同一分母；内层两个比例的分母是缺陷子集（26.28% 那部分），不是全部正确回答。把 65.88% 误当成「全部正确回答的 65.88%」会差 约 3.8 倍（65.88 ÷ 17.31 = 3.81；若与全体 100% 直接比则差 1.5 倍），这里按占正确回答的 17.31% 展示。手算核对：26.28 × 0.6588 = 17.31、26.28 × 0.3412 = 8.97，相加正好回到 26.28；73.72 + 17.31 + 8.97 = 100。条件：论文写的是「当 PROF 按 PRM 一致性对正确组取 bottom half（后一半）」时的审计（§3），这是对筛选规则的离线审计，不是某一轮训练的实际过滤统计。
读完这节你会知道：为什么单纯加 PRM 当奖励不行，以及为什么「加权混合」也不行。
用组内标准化得到优势 Ai = (ro − mean)/std，稳定、高效，但奖励太稀疏太粗：区分不了对的两个答案里哪个推理更可靠，也把「蒙对」和「真会」当成一件事。
后果：中间步骤质量停在原地，这就是 01 里那 26.28% 的来源。推断（依据：原图审计对象是 Qwen2.5-Math-7B 本身；论文未用 GRPO 前的 base 模型单独做过这项审计）
按步骤平均 PRM 分数，再乘权重 β（论文用 β=0.8）加到结果奖励上（论文未写明该权重具体如何施加到 {−1, 1} 的结果奖励上，这里不复述为「奖励混合」的具体公式）。过程信号细了，但也把 PRM 的噪声直接并进了梯度。
后果：PRM 是离线训练的，在线训练时策略会走到没见过的分布上。Blend 的熵损失很快塌向 0、回答长度不受控地增长，典型的 reward hacking；在 LLaMA-3.2-3B-instruct 上它的平均分甚至低于 GRPO（15.7 vs 23.6，Table 2，average@16）。
论文还点名了另一类相关做法：把 PRM 和策略联合在线训练（Zha et al. 2025、Cui et al. 2025），但只能以隐式方式训练 PRM，拿不到准确的过程分。于是问题的真正形态是：如何把一个预训练 PRM 稳健地接进在线训练，而不是去重新训一个 PRM。
读完这节你会知道：PROF 的三步规则、一致性分数怎么算，以及为什么正确组和错误组要用相反方向筛。
对每个提示生成 n 条 rollout，得到结果奖励 ro 与每个步骤的 PRM 分 (r1, …, rH)。轨迹级一致性分数（论文式 (1)）：
Hλ 步的轨迹会在正确组里被扣分：没有推理步骤、或啰嗦到一定程度的轨迹拿不到「高一致性」然后按 ORM 分成正确组 G+ 与错误组 G−，各自按 rpro 排序：
答案对 + 过程分高 = 「过程好、结果也好」，是真正该学的正面范例；答案对 + 过程分低 = 蒙对，直接丢掉。
答案错 + 过程分低 = 「差得一致」，是可靠的负面范例；答案错但过程分高 = 过程与结果冲突，多半是 PRM 判错，丢弃。
PRM 可靠性下降时更稳：不对错误组做细化排序，避开噪声估计，只靠正确组的提纯。
关键约束是保持正负平衡：从 G+ 保留 k+ 条、G− 保留 k− 条，约束是 k++k−=m（m 为策略更新批大小，k+≤n+、k−≤n−），目标是最大化 k+k−（Algorithm 1 第 4 步）。k++k−=m 固定时 k+k−=k+(m−k+) 在 k+ 最接近 m/2 时最大；论文接着说「This implies the ratio of correct and incorrect responses should be balanced」。推断（依据：§3 正文；约束为 k+≤n+、k−≤n−，候选不够时会偏离 m/2，例如 m=8、正确组只有 3 条时最优解是 3+5 而不是 4+4）。下表中的计算验证了这一步。
取下方模拟器的默认参数：n=16、n+=5、m=4、p=0.50。
档位上限 cap = max(1, floor(5×0.5)) = 2，所以 k+ ≤ 2；又因 k− = 4−k+ ≤ 11 恒成立，可行区间 k+ ∈ [0,2]。离 m/2 = 2 最近的是 k+=2：2×2=4（k+=1 → 1×3=3）。
所以正确组留 2 条、错误组留 2 条，即 k++k− = 2+2、k+k− = 4，与下方模拟器默认状态（n=16, n+=5, m=4, p=0.50）的读数（k₊ 2/5、k₋ 2/11、k₊·k₋ 4）一致。05 节流程图改用 Fig. 5 的 n=8 → 3+5，见右侧「流程图的 3+5」。
λ=10，Hλ=30，轨迹 A：H=2，PRM 两个 1.0，答案对。
普通平均 = 1.0。带正则：rpro = 1.0 − 10×1×1 = −9。
它会被排到正确组末尾。论文本意是丢掉「没有步数」和「超长」的轨迹，但按现式字面，H=2 的短轨迹同样会被重罚，读到这条正则时值得留意。
05 节的流程图沿用 Figure 5 的设置：8 条 rollout 里 3 条答对、5 条答错（n=8, n+=3）。要让平衡规则凑满这 8 条，模拟器须设 m=8、p=1.00（此时 cap = max(1, floor(3×1)) = 3）：可行区间 k+ ∈ [3,3]，只有 3+5 一种解，3×5 = 15。
注意：m=4 时 n=8 拆成 3+5 在模拟里凑不满：n+=3、m=4 的可解分配只有 3+1（3 条正确全留、1 条错误），错误组名额不是 5。所以流程图画的 3+5 只对应 n=8, m=8，不是模拟器默认的 n=16, m=4；三处数字的对应关系：模拟器默认（n=16, n+=5, m=4, p=0.50）→ 2+2；手算 1 同参数 → 2+2；流程图（n=8, n+=3, m=8）→ 3+5。
下面这台模拟器实现了 Algorithm 1 第 4 步的参数化版本：两个滑块给出一条提示的采样数 n 与其中答对数 n+，再拖一个「正确组强化档位」p，正确组只保留过程分前 max(1, floor(n+×p)) 条（对应论文「按一致性取 top-k+」）。随后求解 k++k−=m 且 k+k− 最大的名额分配，并画出每条候选轨迹的去留。
默认状态（= 手算 1）：n=16、n+=5、m=4、p=0.50 → k++k− 的解见下方读数。流程图（05 节）用的是 Fig. 5 的 n=8 拆成 3+5，在模拟里对应 n=8, n+=3, m=8, p=1.00。
论文里的 k+ 是一个自由度：在 k++k−=m、k+≤n+、k−≤n− 的约束下最大化 k+k−，解是 k+ 尽量靠近 m/2。模拟器多了一个论文里没有的「正确组强化档位」p：先把 k+ 压到不超过 max(1, floor(n+p))，再在可行区间里取最接近 m/2 的值。p=1 时它退化为论文原算法；p<1 相当于手动加大正确组的筛选力度，借以在界面上复现附录 B.2（Figure 9）「n 增大时性能先升后降」的权衡。
名额不足时的人为近似。当 max(1, floor(n+p)) 把正确组名额压到 floor(m/2) 以下（例如 n=16、n+=8、m=4、p=0.20 → 正确组只剩 1 条，得 1+3），读数会显示「正负不等」并注明这是 p 压出的名额不足。这是模拟器额外加入的近似（p 本身不在论文算法里），不是论文算法想要的结果：论文的约束是 k++k−=m 且 k+k− 最大，只要两边候选足够就会落在 balanced 分配上。真实训练遇到两边凑不满 m 时，该提示会被丢弃或重采样，而不是把 1+3 当成稳定配置。反过来，当正确组候选数本身就少于 m/2（如 n=8、n+=3、m=8 → 3+5），读数也会「正负不等」，但那是论文约束 k+≤n+ 下的正常解，不是模拟误差。
「无解」是模拟边界，不是论文结论。读数显示「无解」有两种来源：① n < m（如 n=2、m=4 或 n=8、m=12），两边候选全用上也凑不满 m；② p<1 把正确组压得过低，连 k+ ≥ m−n− 都不满足（如 n=8、n+=3、m=8、p=0.50）。滑块允许取到这类数值上不可行的组合（m 上限 12 > n 下限 2），所以「无解」只说明这组参数在模拟里没有可行分配；p=1 且 n≥m 时总有解（n+=0 也给出 0+m 的退化分配）。论文的 Algorithm 1 对这类提示的做法（丢弃还是重采样）正文没有展开，本页按「重采样」理解推断（依据：§3 只给出 k₊+k₋=m 且 k₊≤n₊、k₋≤n₋ 的约束，未讨论两边凑不满 m 时的处理）。
候选轨迹的 rpro 是示意值，不代表真实 PRM 输出；真正被展示的是去留规则。H=1 或 H≥Hλ 的步数正则也没有在模拟里展开，它等效于把这类轨迹的 rpro 往下压，你可以在手算 2 里看到它的数量级。
PROF-POS 在论文里对错误组随机取样本，这里固定取过程分最低的 k− 条，让「冲突样本被丢弃」一眼可见；真实实现没有这一步排序。
读完这节你会知道：PROF 插在 GRPO 的哪个位置、开销花在哪，以及它和 RAFT++ 之类的拒绝采样怎么配合。
PROF 是rollout 与策略更新之间的一层数据处理，不改变 GRPO 的目标函数。实现基于 verl（附录 A.1）：每个迭代采样 1024 个提示，GRPO n=4、PROF n=8（每条提示的 rollout 数），所有算法的策略更新数 m=4；KL 与 entropy 系数各 0.001，温度 1.0、top-p 1.0，每个提示最多生成 4096 token，训练 mini-batch 256，用 8 张 H100。
与 §3 的 2k 审计样本是什么关系？原文未说明：§3 的 2k 样本只写 "from Qwen2.5-Math-7B"，附录 A.1 的 1024 是每迭代采样的提示数，两处没有交叉引用。本页不认为 2k 包含在这 1024 里（也不反过来推断）推断（依据：§3 与附录 A.1 各自独立表述，全文没有说明两者关系的句子）。
GRPO 的 n=4 被提到 n=8，且每条 rollout 都要跑一遍 7B PRM 拿到步骤分。论文的算力对齐比较（Figure 3）把平均成本算作 Inference + 3× Train + PRM（×3 是训练相对前向的粗略 FLOPs 折算），比较 GRPO-n16m16 与 PROF-n16m8。
论文 Limitations 也承认：PROF 比 Blend 和 vanilla GRPO 需要更多计算。
在 RAFT++（只训练正样本的拒绝采样范式）上套 PROF（Table 4）：PROF-Raft++ (n8m4) 平均 39.29，高于 Raft++-n8 的 37.75（+1.54 个百分点，相对 Raft++-n8 +4.1%）和 Raft++-n4 的 35.27（+4.02 个百分点，相对 +11.4%）。
几个训练层面的数字：
λ=10，Hλ=30（附录 A.1）：轨迹只有 1 段（H=1）或步数 ≥30 时，rpro 被扣 λ·ro，这类样本在正确组里排到末尾。
1.5B 用 εlow=0.2, εhigh=0.28；其余情形上下限都取 0.2。
Numina-Math，约 86 万道题；评测 average@16。
这是论文 Figure 2 / Algorithm 1 的展开。下图按论文 Figure 5 的审计设置画：8 条 rollout 里 3 条答对、5 条答错，平衡后 3+5 进入更新（在 03 节模拟器里令 n=8, n+=3, m=8, p=1.00 即可复现）；模拟器默认状态是 n=16、n+=5、m=4 → 2+2，两者区别只是 n 与 m 的取值不同。
为什么保持正负平衡是核心？消融给出了答案：不分离时（w/o separation，全部混排，即便如此也做了批次中心化），Figure 6 右图显示过滤前后奖励差距被描述为「over 2%」（原文未说明是百分点还是相对，也未说明绝对值基准）——论文说这说明负样本被不均衡地删掉了，因为错误回答常包含若干局部正确的步骤，会把平均 PRM 分抬高、模糊过程与结果的一致性。这组比较是 1.5B 还是 7B 初始化，正文没有写明。附录 B.4 的 Table 6 还比较了别的聚合方式：Minimum 50.9%、Sum 50.6%、Ratio（保留原始正负比例）50.6%，都低于 Mean（PROF-BOTH）的 51.7%；绝对差分别为 0.8 / 1.1 / 1.1 个百分点（相对 Mean 1.5% / 2.1% / 2.1%）。
读完这节你会知道：主表数字、算力对齐比较，以及为什么「过程质量」的差距比准确率差距大得多。
| 模型 | 算法 | Math500 | Minerva | Olympiad | AIME24 | AMC23 | 平均 |
|---|---|---|---|---|---|---|---|
| Qwen2.5-Math- 1.5B-base | Base | 39.9 | 11.4 | 19.1 | 3.5 | 23.6 | 19.5 |
| GRPO | 70.3 | 29.1 | 33.0 | 9.0 | 44.5 | 37.2 | |
| Blend | 67.6 | 27.8 | 31.1 | 7.7 | 42.5 | 35.3 | |
| PROF-POS | 72.6 | 31.3 | 36.1 | 10.6 | 50.3 | 40.2 | |
| PROF-BOTH | 73.2 | 30.0 | 36.1 | 9.6 | 49.1 | 39.6 | |
| Qwen2.5-Math- 7B-base | Base | 42.0 | 12.8 | 19.2 | 12.9 | 30.0 | 23.4 |
| GRPO | 81.6 | 37.2 | 45.5 | 20.6 | 64.4 | 49.9 | |
| Blend | 81.7 | 36.7 | 45.0 | 15.2 | 58.0 | 47.3 | |
| PROF-POS | 81.4 | 36.6 | 45.0 | 24.8 | 64.2 | 50.6 | |
| PROF-BOTH | 83.1 | 39.0 | 47.8 | 17.5 | 70.9 | 51.7 | |
| LLaMA-3.2- 3B-instruct | Base | 30.0 | 8.8 | 6.1 | 2.3 | 10.6 | 11.6 |
| GRPO | 50.5 | 18.8 | 17.9 | 5.0 | 25.6 | 23.6 | |
| Blend | 37.2 | 13.1 | 9.9 | 1.0 | 17.2 | 15.7 | |
| PROF-POS | 52.4 | 19.5 | 19.8 | 6.7 | 28.6 | 25.4 | |
| PROF-BOTH | 49.0 | 18.0 | 17.3 | 5.4 | 23.9 | 22.7 |
Table 2（§4.2，第 7 页）的训练方法（GRPO / Blend / PROF）为 average@16、温度 1.0，每种方法取各自最优设置；Base 行原文未注明口径（疑为 pass@1），与训练后的 average@16 不同口径，跨组不可直接相减。高亮行为该模型下的最优平均分。
7B 行之间的差值（同表、同口径，均为 average@16）：PROF-BOTH 51.7 比 GRPO 49.9 高 +1.8 个百分点（相对 GRPO +3.6%），比 Blend 47.3 高 +4.4 个百分点（相对 Blend +9.3%）；PROF-POS 50.6 比 GRPO 高 +0.7 个百分点（相对 +1.4%）。
值得注意的点：
论文用蒙特卡洛（MC）估计评估每一步的价值：从某个中间步骤出发独立采样 8 条完成（温度 1.0），看最终答对的比率。只在 PROF 与 GRPO 都答对的测试题上比较（两者均从 Qwen2.5-Math-7B-base 初始化），平均 MC 值在五个基准上都更高，Math500 +9.2%、Minerva Math +37.4%、Olympiad Bench +15.9%、AMC23 +9.2%、AIME24 +11.1%；论文原文只说这几个数是 improvement gaps，没有说明是相对还是绝对，下面按原样引用。论文指出这远大于 Table 2 中的准确率差距。
条形高度按数值线性映射（满格约 40 个百分点），只为相对比较。蓝色为 7B 上 PROF-BOTH 与 GRPO 的平均准确率差（Table 2），AIME24 上为负（17.5 − 20.6 = −3.1）；左边橙色是论文给的 MC 步值 improvement gaps（相对或绝对未说明）。
更直接的 faithfulness 指标：用 Claude Sonnet 4.6 审计测试集中的正确回答，看推理是否有缺陷。GRPO 的缺陷率 8%，PROF 降到 6%（Figure 5 右，占各自正确回答，average@16 评测用的测试集）。这与 Figure 1 是两个不同的审计：Figure 1 是训练前在 Qwen2.5-Math-7B 的 2k 条训练样本上测基模，结论是正确回答中 26.28% 含缺陷（占全部正确回答），而在这部分缺陷子集里，按 PRM 一致性对正确组取 bottom half 时 PROF 能滤掉 65.88%（占缺陷子集）；Figure 5 右是训练后在测试集上测两种方法。两者的数据分布（训练样本 vs 测试集）与审计对象（基模 vs 训练后策略）都不同，论文并未把它们当作同一数量对比，这里也不做相减或换算。
PRM 变弱时 PROF 仍然稳（均为 Qwen2.5-Math-7B-base、average@16，Table 3）：把 Qwen2.5-Math-PRM-7B 换成 Skywork-PRM-1.5B，Blend 从 47.3 升到 47.5（+0.2 个百分点）；PROF-POS 仍有 51.0（比 7B PRM 下的 50.6 高 0.4 个百分点）、PROF-BOTH 50.5（比 51.7 低 1.2 个百分点，相对 −2.3%）。推断（依据：Table 3；「并不依赖特别强的 PRM」是对这组差值的解读，论文原文的说法是 PROF 「maintains performance close to」7B PRM 的结果）
读完这节你会知道：什么时候应避开 PROF，以及论文自己承认的局限。
要先多采样再过滤，每条 rollout 还要跑 PRM。论文在简介（§1，第 3 页）写的是：在算力对齐（Inference +3× Train + PRM）且 rollout 组大小对齐时，PROF「achieves larger gains by almost 2%」——≈2% 指增益幅度，原文没说单位是百分点还是相对，也没说是整体平均还是某一难度桶，这里照原样引用。对应实验是 §4.2 与 Figure 3：7B 上 GRPO-n16m16 对 PROF-n16m8，按 Level 1–4 难度分桶比较（Level 4 在正文，Level 1–3 见附录 Figure 8）。绝对开销高于 Blend 与 vanilla GRPO，Limitations 把「效率与推理质量的平衡」列为后续方向。推断（依据：§4.2／Figure 3；正文只给曲线未给表，≈2% 对应哪个难度桶无法从文字确定）
Broader Impact 一节指出：若 PRM 偏向某种推理模式或语言，PROF 可能把「多样但有效」的解法也筛掉。附录 B.2（Figure 9）也显示 n 从 4 增到 16 时性能先升后降，论文的解释是过程质量与避免 reward hacking 之间存在权衡。
实验集中在数学推理（Numina-Math、五个数学基准），代码、网页导航等只作为未来工作提出。推理质量的审计本身由 Claude 完成，论文坦言这只是近似信号，无法替代细粒度的人工判断。
一句话：PROF 不制造更好的 PRM，也不扩大验证器的能力；它只是把已有 PRM 的信号从「奖励」挪到「采样后的一道淘汰赛」，换来更少的蒙对样本进入梯度。如果任务本身没有可靠的验证器或过程信号，这套方法无从谈起。