RLPR 不判断模型答案对不对。模型照常生成完整回答 o=z∥y，但奖励计算时把生成的 y 替换成参考答案 y*，得到 o′=z∥y*，读取 y* 每个 token 的平均概率作为奖励；不把 y 送进验证器。再减去“没有推理链时”的同一概率，得到去偏奖励。Qwen2.5-7B：MMLU-Pro 从 Instruct 对照的 54.5 到 56.0、TheoremQA 从 Instruct 的 47.3 到 55.4（RLPR 从 Base 起训练），训练不需要外部验证器。
RLPR 的奖励是参考答案 y* 在给定推理链 z 下的平均 token 概率：mean(πθ(y*i|x,z,y*<i))。它比序列似然（论文用 n 次根归一化的概率乘积）稳健，因为未归一化的乘积会被单个低概率 token 主导：论文举例 (0.01,0.7,0.9) 与 (0.05,0.7,0.9) 的乘积相差 5 倍，均值只差 0.013。
为去掉“问题本身或答案格式”带来的偏置，RLPR 再算一次“不给推理链、直接生成 y*”的概率 r′，用 clip(0,1,r−r′) 作为最终奖励；训练时用 GRPO，并按奖励标准差动态过滤太简单/太难的 prompt。
Qwen2.5-7B 的七基准总平均 53.6，高于 RLVR 的 52.6 与 General Reasoner 的 52.0；但 GPQA 上 Oat-Zero 38.8 高于 RLPR 37.6，MATH-500/AIME 也不是 RLPR 最高，数学专项模型仍更强。
数学和代码有符号验证器或沙箱；开放式问答、法律、生物、商业没有廉价而可靠的“判对错”程序。
标准 RLVR 给每个回答一个标量奖励：
规则验证器在数学题上是 Math-Verify，在代码上是沙箱执行；换到自然语言答案，验证器要处理同义改写、部分正确、格式差异，工程量迅速失控。另一种办法是训练一个模型验证器，但论文指出这需要大量标注、奖励质量不稳定、还要在训练时额外维护一个模型。
答案可判等时很好；自由形式答案的多样性让规则覆盖不过来，论文的原话是“impossible to devise rule-based verifiers”。
要训练专门的判等模型（如 General Reasoner 的 1.5B verifier），需要标注数据，训练框架更复杂，还会多一份推理成本。
RLPR 的观察是：模型对参考答案的生成概率，本身就是它对自己推理质量的内部评价。如果推理链 z 好，模型应该更“敢”生成 y*；如果 z 差，概率就低。于是奖励可以从模型内部读出，而不必外接一个裁判。
两条路线都不需要验证器，差别在奖励怎么从 token 概率变成一个标量，以及怎么处理“问题本身带来的偏置”。
| 方法 | 奖励来源 | 是否需要验证器 | 主要弱点 |
|---|---|---|---|
| RLVR | 规则/沙箱判等 | 是（规则） | 通用领域难以写规则 |
| General Reasoner | 训练出的 1.5B 模型验证器 | 是（模型） | 标注成本、奖励质量、额外推理 |
| VeriFree | 参考答案的序列似然（n 次根归一化） | 否 | 似然方差大，限制答案 <7 token |
| RLPR | 参考答案的平均 token 概率，去偏 | 否 | 仍依赖参考答案；多一次前向 |
表中 VeriFree 的“<7 token”来自 RLPR 论文对其复现设置的描述（§3.1）；RLPR 自己不做这个长度限制。
序列似然是 ∏pi（论文实际用 n 次根归一化，fseq = (∏pi)1/n；下面的 5 倍按未归一化乘积口径计算，用来说明低概率 token 的影响）。论文给了一个直观例子：概率序列 (0.01, 0.7, 0.9) 与 (0.05, 0.7, 0.9) 只差第一个 token，但乘积结果相差 5 倍；对长答案，只要出现一个极低概率 token，奖励就会被压到接近 0。平均概率把每个 token 的贡献拉平，更接近“整体置信度”。
但平均概率仍有偏置：有些问题本身就让模型容易/不容易生成 y*，这与推理链 z 无关。RLPR 用“无推理链时直接生成 y*”的概率 r′ 作基线，奖励变成 r−r′，衡量的是“经过思考后，置信度提升了多少”。
三个组件：平均概率、去偏、标准差过滤；训练算法仍是 GRPO。
把模型回答拆成推理链 z 和答案 y，用数据集里的 y* 替换 y，得到 o′=z∥y*；把 o′ 喂给策略模型，取 y* 对应 token 的概率：
再算一次没有推理链的基线 r′：直接把 y* 喂给模型（不加 z），用同一公式取平均概率。最终奖励：
GRPO 需要同一 prompt 的多条回答之间有奖励差异。若一组回答的奖励标准差很低（全高或全低），这题对当前模型太简单或太难，梯度信号弱。RLPR 用指数移动平均维护阈值 β，过滤掉奖励标准差低于 β 的 prompt；β 在 Qwen 上取 0.5，Llama 0.9，Gemma 1.0（Table 7）。
平均概率 = (p1+p2+p3)/3；连乘 = p1p2p3（页面演示用原始连乘；论文的序列似然基线用 n 次根归一化）；去偏奖励 = clip(0,1,平均−r′)。r′ 是页面演示参数，不是论文的具体数据。
平均 = (0.50+0.70+0.90)/3 = 0.700；连乘 = 0.50×0.70×0.90 = 0.315；去偏 = clip(0,1,0.700−0.300) = 0.400。
换成论文的例子：(0.01,0.7,0.9) 平均 0.537、连乘 0.006；(0.05,0.7,0.9) 平均 0.550、连乘 0.032。平均只差 0.013（0.550−0.537）；连乘差 5.0 倍（按未舍入值 0.0315/0.0063；若按显示的四舍五入值 0.032/0.006 则约 5.3）。
若 r′ ≥ 平均，r̂ 被 clip 到 0；若平均−r′ > 1，r̂ 被 clip 到 1。页面没有把 clip 前的负值当成负奖励。
最终梯度估计器就是策略梯度：
注意 RLPR 的奖励是连续的，不是 0/1；这让它可以给“部分正确”的回答一个中间分，而不是像规则验证器那样直接判 0。论文的 AUC 分析就是在检验这个连续分能否把正确回答排在错误回答前面（§3.3、Figure 4）。
RLPR 的奖励计算要对每条回答多做一次“拼接参考答案”的前向；论文没有给总 GPU 小时，只给了硬件与批量。
| 项目 | 设置 | 说明 |
|---|---|---|
| 硬件 | 32×A100 | 每个实验；未给总 GPU 小时/显存峰值 |
| 每步 prompt | 768 | 每题 8 条回答，共 6,144 条 rollout |
| 每步更新 | 4 次 | 对同一批 rollout 做 4 次策略更新 |
| 学习率 / KL | 5e−7 / 无 KL | §A.1.1 写 5e−7，§A.4 写 1e−6，原文内部不一致；熵惩罚 1e−3；clip (0.8, 1.27) |
| 数据 | 77k 非数学 prompt | 来自 Ma et al. 的 WebInstruct，GPT-4.1 过滤过易题（§A.3 写 GPT-4.1-mini） |
| 采样 | temperature=1 | Gemma/Llama 用 0.6；max generation 3072 |
| 过滤阈值 β | 0.5 / 0.9 / 1.0 | Qwen / Llama / Gemma |
默认模型是 Qwen2.5-7B-Base；Table 1 的 Qwen 对照行是 Qwen2.5-7B-Instruct，两者不是同一个起点，页面在结果节明确标注。Gemma/Llama 的 batch 为 256，β 分别为 1.0/0.9（Table 7）。
验证器模型、规则工程、模型验证器的显存与查询；不需要为每个领域写判等逻辑。
每条回答一次“拼接 y*”的前向；连续奖励的标准差过滤；仍需参考答案 y*。
RL 采样本身：768×8 条 rollout、4 次更新、32×A100；论文没有报告单步耗时。
关键差别：模型照常生成完整回答 o=z∥y，但奖励计算不把生成的 y 送进验证器，而是替换成 y* 做一次前向；奖励来自 z∥y* 的 token 概率。
先看 Table 1 的完整对照，再看通用平均与数学专项模型的差别；最后看奖励质量与消融。
| 模型 / 方法 | MMLU-Pro | GPQA | TheoremQA | WebInst. | MATH-500 | Minerva | AIME24 | General | All |
|---|---|---|---|---|---|---|---|---|---|
| Gemma2-2B-it | |||||||||
| Base | 27.9 | 19.3 | 16.4 | 33.5 | 26.6 | 15.9 | 0.0 | 24.3 | 19.9 |
| + RLVR | 31.6 | 25.8 | 20.1 | 52.3 | 30.7 | 16.5 | 0.2 | 32.4 | 25.3 |
| + RLPR | 33.5 | 28.5 | 21.2 | 52.0 | 30.4 | 17.1 | 0.2 | 33.8 | 26.0 |
| Llama3.1-8B-Inst | |||||||||
| Base | 46.4 | 31.6 | 31.3 | 54.7 | 50.1 | 32.7 | 4.2 | 40.5 | 35.6 |
| + RLVR | 49.3 | 36.0 | 32.0 | 60.2 | 51.9 | 35.2 | 4.6 | 44.4 | 38.5 |
| + RLPR | 53.6 | 36.5 | 35.5 | 68.5 | 54.1 | 39.0 | 8.8 | 48.5 | 42.3 |
| Qwen2.5-7B | |||||||||
| Base（非 Instruct） | 45.3 | 32.4 | 41.4 | 60.4 | 63.0 | 37.6 | 6.5 | 44.9 | 40.9 |
| Instruct（对照起点） | 54.5 | 34.2 | 47.3 | 72.6 | 75.4 | 49.4 | 9.4 | 52.2 | 49.0 |
| + RLVR（Base 起） | 55.1 | 36.2 | 52.2 | 75.3 | 76.5 | 54.9 | 17.7 | 54.7 | 52.6 |
| General Reasoner（Base 起） | 55.4 | 37.4 | 52.1 | 74.5 | 77.0 | 51.7 | 16.0 | 54.8 | 52.0 |
| VeriFree（Base 起） | 53.8 | 36.7 | 47.6 | 72.5 | 73.5 | 49.0 | 12.5 | 52.6 | 49.4 |
| + RLPR（Base 起） | 56.0 | 37.6 | 55.4 | 75.5 | 78.0 | 56.5 | 16.3 | 56.1 | 53.6 |
Table 1：MMLU-Pro/TheoremQA/WebInst./MATH-500/Minerva 为 Avg@2，GPQA 为 Avg@4，AIME24 为 Avg@16。General = 前四个通用基准平均，All = 七个基准平均。页面省略 Oat-Zero/PRIME/SimpleRL-Zoo/TTRL 等数学专项基线，完整 17 行数据见原文。
RLPR（从 Base 起训练）相对 Qwen2.5-7B-Instruct 对照的增量：MMLU-Pro 1.5 点（相对 2.8%）、TheoremQA 8.1 点（相对 17.1%）、七基准总平均 4.6 点（相对 9.4%）；通用平均从 52.2 到 56.1，相对 7.5%。若以非 Instruct 的 Qwen2.5-7B Base 为起点，通用平均从 44.9 到 56.1，相对 24.9%——论文的“24.9%”指的是这个起点，不是 Instruct 对照。
最大值是 RLPR 56.0：Base 柱高 = round(54.5/56.0×1000)/10 = 97.3%；RLVR = 98.4%；RLPR = 100.0%。
Qwen TheoremQA 最大值 55.4：Base 85.4%、RLVR 94.2%、RLPR 100.0%。
Qwen WebInst. 最大值 75.5：Base 96.2%、RLVR 99.7%、RLPR 100.0%。柱高最低 1.2%，本页所有值都高于该下限。
Qwen 的 General 平均：RLPR 56.1，RLVR 54.7，General Reasoner 54.8，VeriFree 52.6。七基准总平均 RLPR 53.6，比 General Reasoner 52.0 高 1.6 点，和论文摘要的“1.6 average points”一致。
但 GPQA 上，Qwen 的 Oat-Zero（数学专项基线）是 38.8，高于 RLPR 的 37.6；MATH-500 上 Oat-Zero 80.8、TTRL 82.1，高于 RLPR 的 78.0；AIME24 上 Oat-Zero 29.8、SimpleRL-Zoo（Math）26.5，高于 RLPR 的 16.3。所以“RLPR 在所有基准上最好”不成立：它赢在通用平均与总平均，数学专项模型仍更强。
与 VeriFree 的对比也要看表：TheoremQA 55.4 对 47.6，差 7.8 点；Minerva 56.5 对 49.0，差 7.5 点。论文摘要写的是 7.6 与 7.5；Table 1 的算术给 7.8，页面并列这两个数，不替原文消解。
PR +Qwen72B 在通用数据上 AUC 0.91；PR +Qwen7B 是 0.90、PR +Qwen0.5B 是 0.89；规则验证器 0.61，General Verifier 0.69。数学数据上 PR 三个规模 0.5B/7B/72B 分别为 0.94/0.97/0.95（Qwen7B 0.97），规则 0.95，模型验证器 0.92；PR 的优势主要在通用领域。
在三种训练 prompt 下，RLPR 的性能、回答长度、熵曲线较一致；VeriFree 在 p1 的 step-400 出现 8.0 点下降（§3.6 只写 drop of by 8.0，未写单位，按图读数）。
论文还报告 PR 与回答长度/熵的相关性很弱：只有 8% 的 prompt 得到 p<0.05 的 Spearman 相关，平均系数 −0.060（长度）与 0.059（熵）。这说明奖励不是简单地奖励更长或更熵大的回答。
| 训练数据 / 奖励 | TheoremQA | Minerva |
|---|---|---|
| DAPO 数学数据 + 规则 | 50.3 | 50.6 |
| WebInstruct + 规则 | 52.2 | 54.9 |
| WebInstruct + RLPR | 55.4 | 56.5 |
Table 2：通用数据本身能提升两个基准，但规则验证器在通用数据上判不准；换成 PR 后才有 55.4/56.5。
| 方法 | TheoremQA | Minerva |
|---|---|---|
| RLPR | 55.4 | 56.5 |
| w/o debiasing | 52.7 | 54.1 |
| w/o std-filtering | 52.5 | 55.1 |
| w/o token prob.（用连乘） | 33.5 | 34.2 |
Table 3：去掉去偏降 2.7/2.4 点，去掉标准差过滤降 2.9/1.4 点，把平均概率换成连乘降 21.9/22.3 点。连乘的崩溃与 §2.2 的方差分析一致。
| 奖励 | TheoremQA | Minerva |
|---|---|---|
| Rule-based | 44.8 | 50.0 |
| Rule-based + PR | 48.8 | 49.0 |
Table 4：在已有规则奖励的数学数据上叠加 PR，TheoremQA +4.0 点，但 Minerva −1.0 点；组合不是无条件更好。页面保留这个反例。
RLPR 的边界可以归成三类：奖励依赖 y*、概率依赖 tokenization/语义、训练依赖额外计算与过滤超参。
RLPR 把“验证器质量”换成“参考答案质量”。若 y* 有错、有偏，或只是众多等价答案之一，概率奖励会放大这个信号。论文没有做参考答案噪声的鲁棒性实验。
模型答案 y 与 y* 语义相同但措辞不同，PR 仍按 token 概率评分；平均概率比连乘稳健，但没有显式建模等价类。论文 §2.2 提到对同义改写敏感、平均概率更稳健，未单列局限。
训练成本上，每条回答多一次“拼接 y*”的前向；论文用 32×A100、768 prompt×8 条、4 次更新，未给总 GPU 小时。与“只做一次推理”相比，RLPR 仍是大规模 RL 训练，不是免费的测试时技巧。β 过滤阈值也需要按模型调（Qwen 0.5、Llama 0.9、Gemma 1.0）。
评测上，主实验用多选题与可抽取答案，WebInst. 是 held-out 验证集并做了 10-gram 去重；开放式生成、长文本、代码、多模态没有验证。论文的“通用领域”仍是 benchmark 意义上的通用，不等于任意自由形式任务。
理论上，RLPR 没有收敛性证明或最优性保证；它给的是奖励质量的经验分析（AUC、与长度/熵的相关性）和消融。RLPR 的奖励是启发式的连续信号，论文没有声称它与 RLVR 目标等价。