只用最终答案的对错做 RL，奖励太稀疏；用静态 PRM 指导搜索，又要昂贵的逐步标注，还会随策略更新产生分布偏移。 AIRL-S 用对抗逆向强化学习，从「答对的参考轨迹」里学一个逐步骤判别器；这个判别器既是训练时的稠密奖励，也是推理时 Best-of-N、Beam Search、MCTS 的打分器。 但它的「免费」只指免过程标注，对抗训练本身的计算成本论文没有和「监督 PRM + RL」正面比较。
论文把两条测试时扩展路线接在一起：RL 路线用结果奖励优化策略，但奖励稀疏；搜索路线用 PRM 给中间步骤打分，但静态 PRM 需要逐步标注，并且会与不断更新的策略错位。 AIRL-S 的切口是：训练中为了优化策略而学到的奖励函数，本身就是最贴近当前策略的 PRM。
具体做法是把正确参考轨迹放进 replay buffer，用一个 AIRL 判别器区分「参考轨迹」和「当前策略轨迹」；判别器的 log-odds 就是逐步骤奖励 rφ（Eq.1）。
策略同时最大化 AIRL 的稠密过程奖励（Eq.3）和 GRPO 的结果奖励（Eq.4），两者按 λ 加权（Eq.6）。
推理时不再训练新模型：同一个 rφ 直接给 Best-of-N、Beam Search、MCTS 的候选步骤打分，再用 PRM-Min-Sum 聚合选答案。
论文在 8 个数学、科学、代码基准上报告：7B 策略平均 57.5，GPT-4o 为 57.0；带 Best-of-N 的 PRM 平均 61.3，高于 PRIME 的 55.6 和最强静态 PRM 的 57.6。
读数字时要小心口径：论文写的「9% / 13% / 15%」都没有说明是相对还是百分点；按 Table 1 复算，它们分别接近 +8.6 / +12.8 / +15.3 个百分点。 「匹配 GPT-4o」也只是 8 项平均，逐项看 GPT-4o 在 5 项上更高。
先建立两条测试时扩展路线的各自代价，才知道 AIRL-S 想统一什么。
论文把提升 LLM 复杂推理的测试时扩展（TTS）分成两条主路。第一条是基于 RL 的 TTS：用结果奖励模型（ORM）或规则奖励判断最终答案，再用 PPO / GRPO 优化策略。DeepSeek-R1 证明只靠结果奖励也能获得很强的推理表现，但结果信号通常很稀疏，训练稳定性和样本效率会受影响（§1）。
第二条是基于搜索的 TTS：用 PRM 给中间推理步骤打分，再让 Best-of-N、Beam Search 或 MCTS 在候选中搜索。PRM 提供稠密的逐步指导，但训练一个好的静态 PRM 需要细粒度监督——人工标注，或用另一个 LLM 生成伪标签，成本都很高（§1）。
更麻烦的是分布偏移：静态 PRM 训练完之后就不再变化，而策略还在持续更新。固定裁判与不断变化的选手之间的差距，会让策略学会利用 PRM 的漏洞，也就是 reward hacking；这既削弱策略的可靠性，也让 PRM 作为搜索 verifier 的作用变得不可信（§1）。
论文的提法是：能不能既保留 PRM 的逐步稠密信号，又不依赖逐步标注，并且让奖励函数跟着策略一起更新？AIRL-S 的答案是把「奖励学习」放回 RL 训练循环里，用参考轨迹与当前策略的对抗来学奖励，而不是先离线训一个固定 PRM（§1、§3.3）。
这里的「参考轨迹」不是人工写的专家推理，而是从当前策略采样、最终答案正确的 rollout，或已有的高质量轨迹；只有结果奖励为正的轨迹才进入 replay buffer B（§3.2）。因此它免的是过程标注，不是参考数据本身。推断（依据：§3.2 明确写 sample from the current policy or utilize existing high-quality traces，并按最终答案正确性筛选）。
三路对照：监督 PRM、PRIME 的隐式奖励、纯 GRPO；AIRL-S 的差别在「逐步骤判别器 + 训练与搜索共用」。
Math-Shepherd、Llama3.1-8B-PRM-DeepSeek-Data 等用带步骤标签的数据训练 PRM；EurusPRM-Stage2 从 ORM 派生隐式 PRM。
卡点：过程标注贵；PRM 固定后与策略产生分布偏移，容易被 reward hacking（§1、§4.1）。
PRIME 用两个模型的 log-likelihood ratio 构造隐式 token 级奖励，不需要过程标签。
差别：论文认为 PRIME 的奖励绑定在计算比率的模型上，而 AIRL-S 训练的是逐步骤判别器，并强调跨生成器、跨搜索算法的迁移（§2、§4.2、Appendix D.1）。
GRPO 对同一问题采样一组 CoT，用组内归一化的结果奖励作为优势，不需要 value model。
卡点：只有最终对错，缺少中间步骤的稠密指导；论文的消融显示纯 GRPO 在 MATH500 / AMC 上弱于混合目标（Table 8）。
AIRL-S 不是把三者简单相加：AIRL 判别器给出逐步骤奖励 rφ，这个奖励一方面进入 PPO 式的 AIRL 目标，另一方面与 GRPO 的结果目标按 λ 合成；同一个 rφ 在推理时又作为 PRM 给搜索打分。论文在 Appendix E 以 system-level novelty 讨论这种「训练信号与推理 verifier 是同一个模型」的统一设计（§3）。
四个部件：参考轨迹池、AIRL 判别器、复合 RL 目标、PRM 引导的搜索。
对每个问题 q，论文从当前策略 πθ 采样多条 CoT，或用已有的高质量轨迹；按最终答案给二值结果奖励，只有正奖励的轨迹进入 replay buffer B。训练过程中会周期性删掉低质量条目，并加入新发现的正确解，以维持参考数据的可靠性与多样性（§3.2）。
判别器的输入是 state-action 对：state 是问题 q 加上前面的推理步骤 {C1, …, Ci−1}，action 是当前步骤 Ci。判别器定义为：
逐步奖励取判别器的 log-odds：
判别器用交叉熵训练：参考轨迹的步骤要判为真，当前策略的步骤要判为假。对每条 CoT 的所有步骤求和：
AIRL 目标用 rφ 导出的优势 Ai 做 PPO 式策略更新：
GRPO 目标负责最终答案正确性：同一问题采样 G 条 CoT，用组内归一化的结果奖励 Ak，并加 KL 正则：
最终目标是两者的加权和：
训练在「更新判别器」与「用复合目标更新策略」之间交替（Algorithm 1）。论文在 Appendix D.1 增加了 λ 的消融：λ=0.5 在 MATH500、AMC、MBPP 上综合最好；纯 GRPO（λ=0）和纯 AIRL（λ=1）都更弱（Table 8）。
下面直接读 Table 8：五个 λ 取值对应的 MATH500、AMC、MBPP 分数。柱高按 0–100 归一化，不是按当前视图最大值。
组 1：λ=0.5 vs λ=0（纯 GRPO）。MATH500：80.2 − 76.6 = 3.6 个百分点；AMC：59.0 − 54.2 = 4.8；MBPP：83.3 − 81.6 = 1.7。
组 2：λ=1（纯 AIRL）vs λ=0.5。MATH500：79.4 − 80.2 = −0.8；AMC：57.8 − 59.0 = −1.2；MBPP：80.7 − 83.3 = −2.6。即纯 AIRL 分别低 0.8 / 1.2 / 2.6 个百分点。
口径：差值都是同一张 Table 8 内、同一基准的百分点差；论文没有给这些差值的置信区间或显著性检验。
推理时，rφ 直接作为 verifier：Best-of-N 从策略采样 N 条完整解，按 PRM 聚合分数选最高；Beam Search 每步展开 M 个候选、按 rφ 保留前 N 条；MCTS 用 UCT 在探索与 rφ 的节点价值之间平衡（§3.5）。
一条完整解 Ck 的分数取路径上的最小步骤奖励：s(Ck) = mini rφ(Cki)。最终答案 a 的分数是把所有通向同一答案的不同链求和：S(a) = Σk:A(k)=a s(C(k))，取 S(a) 最大的答案。这就是 PRM-Min-Sum 聚合（§3.5、Appendix B.1）。
数据、模型、超参数与评测协议；这里能看出「免标注」不等于「免算力」。
主训练集是 160K 个问题，主要来自 NuminaMATH；参考 rollout 由策略自己生成，使用 Appendix C 的 rollout prompt。策略 πθ 与奖励打分函数 fφ 都从 Qwen2.5-7B-Instruct 初始化，fφ 的输出头改成标量预测（§4.1）。
| 项目 | 设置 |
|---|---|
| 训练问题数 | 160K，主要来自 NuminaMATH |
| 策略 / 奖励模型初始化 | Qwen2.5-7B-Instruct |
| 硬件 | 8 × NVIDIA A100，PyTorch FSDP |
| 学习率 | 奖励模型 2e-6；策略 5e-7 |
| 最大输出长度 | 8,192 tokens |
| 全局 batch | 1,024 |
| 每题采样数 | 8 条输出 |
| KL 系数 β | 0.001 |
| λ | 0.5 |
| 训练轮数 | 2 epochs |
评测分两种模式。纯策略评测（无搜索）用 temperature 0：数学 / 科学报 zero-shot Accuracy@1，代码报 Pass@1。搜索式 TTS 用 temperature 0.7 促进探索，搜索树宽度 M = 4，报告 PRM 聚合选出的解；同一组 PRM 对比里，生成器、rollout 预算、prompt 和聚合协议都固定，以隔离 verifier 的影响。主结果取 3 次独立运行的平均（§4.1）。
成本方面，论文只给了硬件与超参数，没有给总 GPU 小时、训练墙钟时间，也没有和「监督 PRM + RL」范式做计算成本对照。论文在 Appendix F 把固定 rollout 预算与少量聚合策略列为限制，但没有把对抗训练的开销列为量化项。推断（依据：§4.1 只有硬件与超参数；Appendix F 的限制只提 rollout budget 与 aggregation strategies）。
按 Figure 1 重绘的简化流程；看同一个 rφ 如何被复用两次。
先看 Table 1 与 Table 2，再拆「9% / 13% / 15%」的口径。
Table 1 比较 11 个模型在 8 个基准上的表现。Qwen2.5-7B-AIRL-S 的平均分是 57.5，高于其他本地开源模型（Phi-4-14B 为 14B，参数量约为 7B 的两倍，53.4；Eurus-2-7B-PRIME 48.2；Qwen2.5-7B-Instruct 48.9），与 GPT-4o 的 57.0 相差 0.5 个百分点（Table 1）。
| Model | AIME2024 | AMC | MATH500 | GPQA | HumanEval | Leetcode | LCB-v4 | MBPP | Avg |
|---|---|---|---|---|---|---|---|---|---|
| API models | |||||||||
| DeepSeek-R1 | 79.8 | 85.5 | 96.5 | 71.2 | 97.6 | 90.4 | 71.1 | 95.8 | 86.0 |
| DeepSeek-V3 | 36.7 | 81.9 | 90.2 | 61.1 | 93.3 | 88.3 | 67.0 | 88.9 | 75.9 |
| GPT-4o | 13.3 | 50.6 | 65.8 | 43.9 | 90.2 | 60.6 | 44.2 | 87.3 | 57.0 |
| Local models · RL with PRMs | |||||||||
| Math-Shepherd-Mistral-7B-RL | 0.0 | 7.2 | 28.6 | 9.6 | 32.3 | 5.6 | 3.9 | 51.1 | 17.3 |
| DeepSeekMath-7B-RL | 3.3 | 18.1 | 48.6 | 23.2 | 58.5 | 11.2 | 6.2 | 73.1 | 30.3 |
| Qwen2.5-Math-7B-Instruct | 13.3 | 50.6 | 79.6 | 29.3 | 57.9 | 11.7 | 9.3 | 46.0 | 37.2 |
| Eurus-2-7B-PRIME | 20.0 | 56.6 | 79.2 | 33.8 | 70.7 | 31.1 | 24.3 | 70.1 | 48.2 |
| Local models · other baselines | |||||||||
| s1.1-7B | 16.7 | 38.6 | 72.6 | 35.4 | 76.8 | 11.1 | 9.3 | 76.7 | 42.2 |
| Qwen2.5-7B-Instruct | 16.7 | 33.7 | 72.0 | 32.5 | 81.7 | 47.4 | 28.0 | 79.4 | 48.9 |
| Phi-4-14B | 13.3 | 44.6 | 78.6 | 55.6 | 84.1 | 45.6 | 31.2 | 74.3 | 53.4 |
| Qwen2.5-7B-AIRL-S (Ours) | 26.7 | 59.0 | 80.2 | 40.2 | 85.1 | 54.4 | 31.3 | 83.3 | 57.5 |
「匹配 GPT-4o」只在平均意义上成立。逐项比较，AIRL-S 在 AIME2024（26.7 vs 13.3）、AMC（59.0 vs 50.6）、MATH500（80.2 vs 65.8）三项更高；GPT-4o 在 GPQA（43.9 vs 40.2）、HumanEval（90.2 vs 85.1）、Leetcode（60.6 vs 54.4）、LCB-v4（44.2 vs 31.3）、MBPP（87.3 vs 83.3）五项更高。平均分接近，能力结构不同（Table 1）。
论文在摘要与 §4.2 写了三个「平均提升」：相对基座 9%、数学/科学 13%、相对 s1.1-7B 15%。原文没有说明这些是相对提升还是百分点。按 Table 1 的 Avg 列复算：
也就是说，论文的三个百分比数值上更接近百分点差，而不是相对提升；页面不替作者判断口径，只把两种算法并列。推断（依据：Table 1 的 Avg 与四项均值复算；原文未给分母说明）。
Table 2 把 AIRL-S 与两个静态 PRM、一个隐式 PRM（PRIME）放在同一个 Qwen2.5-7B-Instruct 初始化下比较。无搜索时 AIRL-S 平均 55.3，比 PRIME 的 50.2 高 5.1 个百分点，比最强静态 PRM（Llama3.1-8B 的 50.7）高 4.6 个百分点；加 Best-of-N 后升到 61.3，比 PRIME 的 55.6 高 5.7，比最强静态 PRM 的 57.6 高 3.7（Table 2、Appendix D.1）。需要注意 Figure 2 与 Table 2 的对应关系：Table 2 的 61.3（AIRL-S w. BoN 行，30.0/67.5/86.4）与 Figure 2 最后一组中 Qwen2.5-7B-AIRL-S 生成器 + AIRL-S PRM 的 61.3 是同一组 AIRL-S 结果，不是两个独立证据；真正不同设置的是 Figure 2 的 59.8（Math-Shepherd PRM 配 AIRL-S 生成器）与 Table 2 的 53.3（Math-Shepherd PRM 配 Qwen2.5-7B-Instruct 生成器）。Figure 2 中 59.8 与 61.3 均为 Best-of-N 64、AIME2024/AMC/MATH500 三基准平均。
| Method | AIME | AMC | MATH | Avg. |
|---|---|---|---|---|
| Math-Shepherd-Mistral-7B-PRM | 13.3 | 50.6 | 76.8 | 46.9 |
| Math-Shepherd-Mistral-7B-PRM w. BoN | 20.0 | 57.8 | 82.2 | 53.3 |
| Llama3.1-8B-PRM-DeepSeek-Data | 16.7 | 56.6 | 78.8 | 50.7 |
| Llama3.1-8B-PRM-DeepSeek-Data w. BoN | 23.3 | 65.1 | 84.4 | 57.6 |
| PRIME | 16.7 | 55.4 | 78.4 | 50.2 |
| PRIME w. BoN | 20.0 | 62.7 | 84.2 | 55.6 |
| AIRL-S | 26.7 | 59.0 | 80.2 | 55.3 |
| AIRL-S w. BoN | 30.0 | 67.5 | 86.4 | 61.3 |
Table 2 的四种 PRM 在「无搜索」与「Best-of-N」两种模式下对比。切换按钮直接读表；柱高按 0–100 归一化，不是按当前视图最大值。
无搜索：Math-Shepherd 46.9；Llama3.1-8B 50.7；PRIME 50.2；AIRL-S 55.3。AIRL-S 比 PRIME 高 5.1 个百分点，比最强静态 PRM 高 4.6 个百分点。
Best-of-N：Math-Shepherd 53.3；Llama3.1-8B 57.6；PRIME 55.6；AIRL-S 61.3。AIRL-S 比 PRIME 高 5.7 个百分点，比最强静态 PRM 高 3.7 个百分点。
口径：四项都是 AIME2024 / AMC / MATH500 三项平均；生成器、rollout 预算、prompt 与聚合协议固定，只替换 verifier（Table 2、Appendix D.1）。
迁移到更弱的生成器也成立。Table 7（Best-of-N 64）用 Math-Shepherd-Mistral-7B-RL（无搜索时 AMC 7.2、MATH500 28.6）做生成器：AIRL-S 的 PRM 把 AMC 提到 24.1（+16.9）、MATH500 提到 46.6（+18.0），比表内最强监督 PRM 分别高 1.1 和 2.4 个百分点（Table 7）。Table 9 在 Phi-4-14B 上做 MCTS：AIRL-S 的 PRM 在 AIME2024 / AMC / MATH500 分别为 23.3 / 65.1 / 86.2，比最强基线高 3.3 / 2.4 / 1.0 个百分点；Beam Search 下拿到最好的 AMC 62.7，原文正文称 AIME 与 MATH500 与最强基线持平，但 Table 9 显示 AIME 20.0 与 Llama3.1 的 20.0 持平，MATH500 85.2 高于最强基线 84.6（高 0.6 个百分点）——正文与表格不一致。Table 7/9 未完整转录，只引上述关键行。
论文还报告了一个消融趋势：MCTS 的增益大于 Beam Search，作者的解释是 MCTS 在 selection、expansion、backpropagation 中反复查询 PRM，更好的步骤估值会沿树累积；Beam Search 的剪枝更窄，后续修正机会更少（Appendix D.1）。这是作者的解释，论文没有做逐节点的误差传播实验。推断（依据：Appendix D.1 的定性解释，未给节点级测量）。
论文自己承认的限制，加上从实验设置能看到的边界。
训练依赖最终答案的对错来筛选参考轨迹，评测也集中在 AIME2024、AMC、MATH500、GPQA、HumanEval、Leetcode、LCB-v4、MBPP。Appendix F 明确说，扩展到开放式生成可能需要额外的评测协议；创意写作、对话、多轮交互没有实验。
参考轨迹由策略自己采样，省掉了过程标注；但 AIRL 判别器与策略要交替训练，还有 8 条 rollout / 题、8 张 A100、2 epochs。论文没有给总 GPU 小时，也没有和「监督 PRM + RL」做训练成本对照，因此无法判断端到端是否更便宜。推断（依据：§4.1 只有硬件与超参；Appendix F 未给成本对照）。
replay buffer 只收最终答案正确的轨迹；如果参考轨迹风格单一、步骤有瑕疵或覆盖不足，判别器学到的奖励也会继承这些偏差。论文用周期性剪枝与新正确解来维持多样性，但没有做「参考数据质量下降」的受控实验（§3.2、Appendix F）。推断（依据：§3.2 只描述筛选与更新机制，未报告数据质量消融）。
搜索实验使用固定 rollout 预算和少量聚合策略；Appendix F 把 adaptive search budgets 与更高效的 verifier scheduling 列为未来方向。论文也没有报告 PRM 推理延迟、吞吐或不同搜索宽度下的成本曲线（Appendix F）。
什么时候别用：如果任务没有可靠的最终答案验证器，或者参考轨迹本身难以获得，AIRL-S 的「只用正确轨迹」前提就不成立；如果任务短、搜索预算很小，稠密 PRM 的收益可能覆盖不了判别器与搜索的开销。推断（依据：论文的收益出现在 8 个可验证推理基准与 Best-of-N / Beam Search / MCTS 设置；未覆盖开放任务与低预算场景）。