RLVR 需要规则或模型验证器判断“答案对不对”。VeriFree 绕开这一步：只让模型生成推理链 z，把数据集里的参考答案 y* 拼在后面，直接读模型对 y* 的条件概率 πθ(y*|x,z)。这个连续概率既当推理链的奖励，也当参考答案项的权重。Qwen3-8B 在 MMLU-Pro 上从 59.8 升到 67.2，SuperGPQA 从 31.0 升到 38.0，训练时不需要额外验证器模型。
传统 RLVR 的奖励是 0/1：模型生成完整回答 (z,y)，验证器比较 y 与 y*。VeriFree 把 y 从采样中拿出来，解析地求和：如果只有 y* 得 1，那么 Ey[1{y=y*}] 就等于 πθ(y*|x,z)。于是奖励从“对错判断”变成“模型对参考答案的置信度”，而且不需要验证器。
在唯一正确答案假设下，VeriFree 的目标与 RLVR 在期望上等价，梯度估计方差更低（Theorem 1，Rao-Blackwellization）。实际训练还要处理两个工程点：推理链与答案的 tokenization 边界，以及 RLOO 基线。
效果上，Qwen3-8B 的 MMLU-Pro 平均 59.8→67.2、SuperGPQA 31.0→38.0，超过同规模 Verifier 基线（65.9 / 37.1）；但 GPQA 上 1.7B 和 4B 的 VeriFree 反而低于 Verifier，不是每个基准都赢。
R1-Zero 式训练在数学、代码上有效，因为答案可以用规则或测试用例判对错；法律、生物、商业没有这样廉价的 verifier。
标准 RLVR 把模型输出拆成推理链 z 和最终答案 y，用验证器给 0/1 奖励：
优化目标是先采样 z、再在 z 下采样 y，最大化期望奖励：
问题在于验证器。规则 verifier 只适用于答案可判等的任务；模型 verifier 要额外加载一个强 LLM，训练时占用显存、增加查询成本，还可能被 reward hacking——模型学会迎合验证器，而不是学会正确推理。论文把这两条路都视为“显式验证”，VeriFree 的目标是第三条路：不判断答案，只评估参考答案在给定推理链下的概率。
答案可解析、可执行；换到开放式问答、法律分析、商业策略就难以定义“正确”。
用强 LLM 判等；需要额外显存与查询，且验证器本身可能被利用。论文的 Verifier 基线就是 Qwen2.5-Math-1.5B 微调出的判等模型。
VeriFree 仍然需要“参考答案 y*”，所以它不是“无监督”：它去掉的是验证器，不是参考答案。这个区别是后面所有边界的前提。
VeriFree 不是第一个“无验证器”思路；它的区别在于：在单一正确答案下精确恢复 RLVR 的目标，而不是优化一个下界。
把推理链 z 看成隐变量，JLB 与 LaTRO 分别优化 log Ez[πθ(y*|x,z)] 的下界。它们的梯度里，参考答案项 ∇θ log πθ(y*|x,z) 的权重固定为 1：不管推理链多差，都推高 y* 的概率。VeriFree 的权重是 πθ(y*|x,z) 本身：推理链差、置信度低，参考答案项的更新就小。
| 方法 | 推理链项权重 | 参考答案项权重 | 与 RLVR 的关系 |
|---|---|---|---|
| R1-Zero / RLVR | 1{y ≡ y*} | 1{y ≡ y*} | 原始目标 |
| VeriFree | πθ(y*|x,z) | πθ(y*|x,z) | 单一答案下期望等价，方差更低 |
| JLB | log πθ(y*|x,z) | 1 | 优化下界 |
| LaTRO | log πθ(y*|x,z) − log(πθ(z|x)/πref(z|x)) | 1 | 优化下界，z 从参考策略采样 |
表中是梯度表达式的结构对比，不是完整推导；JLB/LaTRO 的参考策略、下界形式见原文 §2.3 与对应引文。VeriFree 的“等价”只在唯一正确答案、精确匹配的假设下成立。
这也解释了论文为什么强调“exact”而不是“近似”：JLB/LaTRO 的目标与 RLVR 不完全相同，而 VeriFree 在假设成立时在期望上逐项对应相等。代价是它继承了“唯一答案”假设；多答案、语义等价答案的场景需要额外处理（§3.3 的等价类消融）。
推导只有三步：条件期望、指示函数求和、把求和识别成概率。真正难的是让它在 token 级别可训练。
假设只有一个正确答案 y*，验证器奖励是 1{y=y*}。对 y 求期望：
因此目标变成：
对应的梯度有两项：
实现时对每个问题采样 G 条推理链，用 RLOO 基线减方差：
公式：Ai = Ri − mean(Rj≠i)。三条置信度都相等时，三条优势都为 0，推理链项没有更新信号；参考答案项仍按 Ri 加权。
A1 = 0.60 − (0.30+0.20)/2 = 0.35；A2 = 0.30 − (0.60+0.20)/2 = −0.10；A3 = 0.20 − (0.60+0.30)/2 = −0.25。
三个优势之和为 0.35−0.10−0.25=0，符合 RLOO 的零和性质。若三条都是 0.4，则每条基线也是 0.4，三个优势都为 0。
这里只演示 Eq. 7 的推理链项；实际训练中参考答案项仍用 Ri，而不是 Ai。
如果按文本把回答切成 z 和 y，再换上 y*，同一个 “>” 在两种上下文里可能被 tokenizer 切成不同 token，导致训练与采样不一致。论文把 z 的结尾定义在 “<answer” 这个 token（不含 “>”），因为 “ r>” 不在标准 tokenizer 词表里；实现上等价于把 “<answer” 设为停止符，让 vLLM 直接采样 z。页面照原文写，不额外推断其他 tokenizer 的行为。
另一个工程点是 RLOO：论文说去掉 RLOO 会让最终 MMLU-Pro 准确率低 3 个百分点以上（原文 more than 3% lower，未说明相对/绝对；§3.3、Figure 6 左）；简单文本分割（w/o token split）则会引入 off-policy 数据、训练不稳定。两者都不是“可选项”，而是让 Eq. 7 可训练的必要组件。
VeriFree 不需要在显存里多放一个验证器，也不需要 reference model（无 KL）；但每题仍要采样 8 条推理链，再做一次参考答案的前向。
| 项目 | 设置 | 说明 |
|---|---|---|
| 硬件 | 8×H100（单节点） | 论文未给 GPU 小时或显存峰值 |
| 每步题目 | 16 题 × 8 条 | group_size=8，每步 128 条推理链 |
| 采样 | temperature=1.0，top_p=1 | max_tokens=3000 |
| 训练步数 | 约 4,000 / 3,000 | 1.7B、4B / 8B |
| KL / reference model | 无 | 不使用 KL 正则，不维护参考模型 |
| 数据 | 约 61,000 条 | WebData：WebInstruct 派生，答案 <7 token，Qwen2.5-72B 过滤 |
| 评测 | temperature=0 | max_tokens=8192；AIME24 用 temperature=1、每题 32 次 |
§3.1：VeriFree 用 Oat 实现，直接微调 Qwen3 base，跳过 SFT；8B 训练约 3,000 步，1.7B/4B 约 4,000 步。论文没有报告学习率、优化器细节或总计算量。
需要区分奖励形状：Verifier 基线在判等奖励之外还有格式惩罚 −0.5 与长度惩罚 −0.05×min(10, |len 差|)（§3.1），VeriFree 的奖励只有 πθ(y*|x,z)。两者共享训练框架，但不是同一个奖励函数。
验证器模型的显存与查询；KL 项和 reference model；验证器被 reward hacking 的风险。
每题 8 条推理链的采样；一次参考答案前向（不做自回归解码）；约 3k–4k 步 RL 训练。
训练数据必须带参考答案 y*；答案质量直接决定奖励质量 推断，这一点论文没有专门讨论或量化（§5 结论与正文都未展开；原文没有 Limitations 章节）。
和 RLVR 的差别只在“奖励怎么来”：不生成答案、不调验证器，直接读参考答案的概率。
先看三个规模的 MMLU-Pro 与 SuperGPQA，再看 GPQA 和数学；最后区分“平均更高”与“每个基准都更高”。
| 模型 / 方法 | Avg | CS | Math | Law | Health |
|---|---|---|---|---|---|
| Qwen3-1.7B | |||||
| Base | 33.3 | 34.6 | 38.9 | 17.3 | 33.5 |
| Base-Verifier | 47.0 | 48.8 | 64.4 | 18.7 | 41.2 |
| Base-VeriFree | 46.9 | 46.8 | 64.1 | 20.0 | 39.7 |
| Instruct（w/ thinking） | 52.0 | 56.1 | 76.4 | 21.9 | 47.7 |
| Qwen3-4B | |||||
| Base | 47.2 | 42.9 | 67.1 | 22.5 | 43.6 |
| Base-Verifier | 63.0 | 66.1 | 81.3 | 29.1 | 62.8 |
| Base-VeriFree | 63.5 | 64.4 | 82.2 | 30.7 | 59.2 |
| Instruct（w/ thinking） | 62.7 | 70.0 | 84.8 | 28.7 | 60.4 |
| Qwen3-8B | |||||
| Base | 59.8 | 61.2 | 75.0 | 31.4 | 60.4 |
| Base-Verifier | 65.9 | 63.9 | 81.8 | 35.4 | 64.9 |
| Base-VeriFree | 67.2 | 71.5 | 85.3 | 37.3 | 64.3 |
| Instruct（w/ thinking） | 66.9 | 71.5 | 83.8 | 39.2 | 72.1 |
Table 1：完整表有 15 列（Avg + 14 个领域），另有 Len 列；页面只摘 5 列。1.7B 的 VeriFree Avg 46.9 略低于 Verifier 47.0；4B、8B 分别高 0.5、1.3 点。8B 的 Law 37.3 高于 Verifier 35.4，但 Health 64.3 略低于 64.9。
相对 base 的平均提升：1.7B 13.6 点（相对 40.8%）、4B 16.3 点（相对 34.5%）、8B 7.4 点（相对 12.4%）。论文正文把这一范围概括为 12%–40%（§3.2），页面按相对提升标注 推算。
| 模型 / 方法 | Avg | Eng. | Med. | Sci. | Mgmt. |
|---|---|---|---|---|---|
| Qwen3-1.7B | |||||
| Base | 17.4 | 17.7 | 18.6 | 16.0 | 22.4 |
| Base-Verifier | 24.5 | 26.0 | 23.9 | 24.4 | 27.0 |
| Base-VeriFree | 24.8 | 25.7 | 24.7 | 24.9 | 27.9 |
| Instruct（w/ thinking） | 23.6 | 21.8 | 25.3 | 23.6 | 27.5 |
| Qwen3-4B | |||||
| Base | 24.7 | 25.7 | 23.6 | 26.0 | 28.4 |
| Base-Verifier | 34.3 | 35.4 | 35.5 | 34.5 | 36.7 |
| Base-VeriFree | 35.1 | 36.3 | 34.5 | 36.9 | 38.3 |
| Instruct（w/ thinking） | 31.7 | 30.7 | 33.2 | 32.1 | 35.9 |
| Qwen3-8B | |||||
| Base | 31.0 | 31.3 | 34.0 | 30.6 | 37.5 |
| Base-Verifier | 37.1 | 38.2 | 39.5 | 37.2 | 40.1 |
| Base-VeriFree | 38.0 | 38.3 | 39.1 | 39.6 | 41.7 |
| Instruct（w/ thinking） | 35.0 | 33.6 | 42.1 | 33.5 | 42.7 |
Table 2：完整表有 14 列（Avg + 13 个领域），另有 Len 列；页面只摘 5 列。1.7B/4B/8B 的 Avg 分别比 Verifier 高 0.3/0.8/0.9 点，但 4B 的 Med. 34.5 低于 35.5，不是每个领域都更高。
最大值是 VeriFree 67.2，所以 VeriFree 柱高 100.0%；Base = round(59.8/67.2×1000)/10 = 89.0%；Verifier = 98.1%；Instruct = 99.6%。
8B SuperGPQA 最大值 38.0：Base 81.6%、Verifier 97.6%、Instruct 92.1%。
1.7B GPQA 最大值是 Verifier 36.4：Base 48.6%、VeriFree 83.2%、Instruct 48.6%。柱高最低 1.2%，本页所有值都高于该下限。
| 模型 / 方法 | AIME24 | AMC | GSM8K | MATH-500 | Minerva | Olympiad | GPQA |
|---|---|---|---|---|---|---|---|
| Qwen3-1.7B（准确率，长度列略） | |||||||
| Base | 1.7 | 40.0 | 71.4 | 58.8 | 19.5 | 23.3 | 17.7 |
| Base-Verifier | 8.4 | 42.5 | 81.7 | 66.2 | 30.5 | 29.8 | 36.4 |
| Base-VeriFree | 10.7 | 37.5 | 76.2 | 63.8 | 21.0 | 29.8 | 30.3 |
| Instruct（w/ thinking） | 20.9 | 57.5 | 89.0 | 77.4 | 36.8 | 40.9 | 17.7 |
| Qwen3-4B | |||||||
| Base | 5.2 | 50.0 | 73.1 | 73.4 | 29.4 | 39.6 | 24.7 |
| Base-Verifier | 15.6 | 57.5 | 72.5 | 73.8 | 24.6 | 45.9 | 44.4 |
| Base-VeriFree | 16.9 | 65.0 | 87.5 | 74.8 | 25.4 | 44.9 | 42.4 |
| Instruct（w/ thinking） | 33.0 | 62.5 | 92.9 | 84.4 | 41.5 | 47.3 | 31.8 |
| Qwen3-8B | |||||||
| Base | 6.5 | 65.0 | 91.7 | 77.0 | 38.2 | 41.3 | 38.9 |
| Base-Verifier | 17.8 | 57.5 | 93.4 | 76.2 | 39.0 | 41.8 | 43.9 |
| Base-VeriFree | 25.2 | 67.5 | 91.6 | 80.8 | 30.5 | 50.2 | 44.4 |
| Instruct（w/ thinking） | 31.0 | 62.5 | 95.3 | 83.0 | 43.8 | 45.2 | 37.4 |
Table 3（Appendix D）：数学与 GPQA 的准确率；原表每个基准还有 Len 列，页面略去。GPQA 上 1.7B VeriFree 30.3 低于 Verifier 36.4（−6.1 点，相对 −16.8%）；4B 42.4 低于 44.4（−2.0 点，相对 −4.5%）；8B 44.4 高于 43.9（+0.5 点，相对 +1.1%）。
数学不是论文的主目标，结果也更混合：8B 的 AIME24 从 6.5 到 25.2、Olympiad 从 41.3 到 50.2，但 GSM8K 91.6 略低于 91.7、Minerva 30.5 低于 38.2。页面的结论是“通用推理提升、数学部分指标有升有降”，不是“所有数学基准都提升”。
Qwen3-8B 训练过程中，MMLU-Pro 准确率与平均 πθ(y*|x,z) 的相关系数为 0.82。页面只引用这个相关系数与“VeriFree consistently outperforms”的论文表述，不把图读成每一步都严格高于基线。
训练数据去掉数学样本后，模型在 Math-Eval-Suite 上仍有提升。论文没有给该图的逐基准数值，页面只写定性结论，不把它和 Table 3 的逐项数学结果混在一起（两者训练集不同）。
去掉 RLOO，最终 MMLU-Pro 准确率低 3 个百分点以上（原文 more than 3% lower，未说明相对/绝对）；用简单文本分割替代 “<answer” 停止符，训练因 off-policy 数据而不稳定。加入答案等价类（在 MATH-12k 上扩展等价答案）只有“slight performance improvements”（§3.3）。
把这些放在一起：VeriFree 在 MMLU-Pro/SuperGPQA 的多数设置上匹配或超过同规模 Verifier 与 Instruct；但 1.7B 的 MMLU-Pro 平均 46.9 低于 Instruct 的 52.0、也略低于 Verifier 的 47.0，GPQA 的 1.7B/4B 低于 Verifier，数学也不是每个指标都领先。论文的“matches and even surpasses”应理解为跨基准的整体结论，不是逐单元格支配。
VeriFree 的边界比它的卖点更值得看：没有验证器不等于没有监督，概率奖励也不等于正确性保证。
推导假设只有一个正确答案且精确匹配；多个等价答案（“1.6”与“8/5”）时，π(y*|x,z) 只覆盖其中一个字符串。论文用等价类数据做了初步消融，只有小幅提升（§3.3），没有给出多答案下的精确目标。
VeriFree 把“验证器质量”换成“参考答案质量”。数据里的 y* 有错、有偏或只是众多答案之一时，模型会放大这个信号；论文的 WebData 用答案 <7 token 与 Qwen2.5-72B 过滤，但没有逐条人工审计。
评测上，主实验用多选题以便判等；开放式生成、长文本、代码、Agent 任务没有验证。多选题的“参考答案概率”与真实开放式推理的正确性之间还有距离 推断。论文也没有给出收敛性、最优性保证或 reward hacking 的形式化分析；它给的是期望等价与方差更低的定理，以及经验结果。
计算上，VeriFree 省掉验证器模型和 reference model，但每题仍要 8 条推理链；与“只做一次前向”的推理相比，训练成本仍在采样侧。页面没有把“省显存”外推成“总成本更低”：论文只报告 8×H100 与步数，没有给总 GPU 小时、单步耗时或峰值显存。
还有一个隐含假设：高质量推理链应该让模型对 y* 更自信。若模型用一条有缺陷的推理“碰巧”推出高置信度，VeriFree 会强化这条推理；论文的 ρ=0.82 是相关性，不是因果保证。这个风险论文没有专门讨论或量化（原文没有 Limitations 章节），页面把它作为机制边界保留。