Your Reward Function for RL is Your Best PRM for Search：Unifying RL and Search-Based TTS

2025-08-23 约 6863 字预计阅读 14 分钟次阅读

利用专家轨迹和逆向强化学习优化一个prm，用于grpo中计算奖励。

首先，让我们进入对这篇论文的整体深度解读。

论文深度解读：一个“免费”且“动态”的推理过程裁判

当前，为了提升大型语言模型（LLM）在数学、编程、科学推理等复杂任务上的表现，学术界和工业界主要探索两大类测试时扩展（Test-Time Scaling, TTS）技术。您可以将TTS理解为，在模型推理（回答问题）时，不满足于只生成一个答案，而是通过投入更多的计算资源来探索多种可能性，从而找到更优的解。

强化学习（RL）路径：这类方法通过奖励信号来优化模型。例如，模型生成一个解题步骤后，如果最终答案正确，就给予正奖励，反之则为负奖励。然而，这种稀疏的、基于最终结果的奖励（Outcome-based Rewards）存在巨大问题。想象一下教一个孩子解一道复杂的数学题，你只在最后告诉他对或错，却不告诉他错在哪一步。这种学习方式效率极低，且训练过程非常不稳定。
搜索路径：这类方法在推理时，会像棋手一样思考多种“走法”（即多个推理步骤），然后从中选择最好的。为了判断哪一步“走法”更好，需要一个“裁判”，这个“裁判”就是过程奖励模型（Process Reward Model, PRM）。PRM能够为每一个中间步骤打分，指导模型在巨大的搜索空间中前进。然而，训练一个好的PRM“裁判”代价极其高昂。你需要大量的人工标注数据，告诉模型每一步推理的好坏。更糟糕的是，这个PRM是静态的，而主模型（LLM）在不断学习进化。一个静态的“裁判”去指导一个动态的“选手”，很快就会出现分布偏移（distributional shifts）问题，导致模型学会钻空子，也就是奖励滥用（reward hacking）。

这篇论文敏锐地指出了上述两种路径的根本矛盾，并提出了一个颠覆性的问题：我们为什么需要一个独立、昂贵的PRM？强化学习训练过程中学到的奖励函数，难道不就是最理想、最懂当前模型的PRM吗？

这正是本文的核心创见。作者提出了一种名为 AIRL-S 的统一框架，其精髓在于：在强化学习训练“选手”的同时，也顺便训练出了一个为它量身定制的“裁判”，并且这个“裁判”是免费且动态更新的。

它是如何做到的呢？AIRL-S框架巧妙地融合了两种技术：

对抗性逆向强化学习（Adversarial Inverse Reinforcement Learning, AIRL）：这是整个框架的灵魂。传统的RL是“给定奖励规则，学习最优行为”，而逆向RL（IRL）则是“观察专家行为，反推出奖励规则”。AIRL是一种先进的IRL方法，它通过一个判别器（discriminator）来学习奖励函数。这个判别器的任务是区分“专家走出的好棋谱”（在论文中是正确的推理链，即Reference Rollouts）和“模型自己走出的棋谱”（Policy Rollouts）。为了赢得这场对抗游戏，判别器必须学会精准地为每一步推理打分，从而识别出模仿得不像的步骤。这个经过充分训练的判别器，其内部的打分机制，自然而然地就成了一个高质量的、稠密的、逐步骤的PRM。最关键的是，这个过程完全不需要为中间步骤进行人工标注，只需要提供最终正确的完整推理过程即可。
组相对策略优化（Group Relative Policy Optimization, GRPO）：这部分主要借鉴了DeepSeek-AI的工作，负责处理来自最终答案正确与否的稀疏奖励。它通过比较一组生成答案的好坏，来稳定地优化模型策略。

AIRL-S将这两者结合，模型的更新同时受到两方面指导：一是来自AIRL判别器（即PRM）提供的稠密过程奖励，告诉模型“如何走好每一步”；二是来自GRPO的稀疏结果奖励，告诉模型“最终目标是什么”。

如论文中所述，其统一的目标函数是： > J(θ) = λ * J_AIRL(θ) + (1 - λ) * J_GRPO(θ) 这公式清晰地表明了它如何平衡过程奖励（来自AIRL）和结果奖励（来自GRPO）。

在推理时，这个在训练中“免费”得到的PRM（判别器）可以直接用于指导各种搜索算法，如束搜索（Beam Search）和蒙特卡洛树搜索（MCTS），极大地提升了模型的推理能力。

实验结果非常有力地证明了该框架的有效性。基于Qwen2.5-7B-Instruct这样一个中等规模的开源模型，AIRL-S框架训练出的模型在8个主流的数学和代码推理基准测试中，平均性能提升了9%，整体表现媲美了强大的闭源模型GPT-4o。尤其值得注意的是图2，它展示了AIRL-S训练出的PRM具有极强的泛化能力。将这个PRM应用到其他不同的大模型上，依然能稳定地带来性能提升，远超那些依赖静态标注数据训练的PRM。这充分说明，通过AIRL学到的奖励函数，抓住了推理任务的本质，而不仅仅是适配某一个特定模型。

图2解读: 此图展示了不同PRM与不同LLM组合在数学推理任务上的平均准确率。深灰色柱代表本文的PRM（Qwen2.5-AIRL-S-PRM）。可以清晰地看到，无论搭配哪个基础LLM（横轴），本文的PRM带来的性能增益（深灰色柱的高度）几乎总是最高的，证明了其卓越的性能和泛化能力。

总而言之，这篇论文的创新贡献是巨大的。它不仅提出了一个效果卓越的新框架，更重要的是，它为我们揭示了一条更高效、更经济地提升大模型推理能力的路径——通过内在的、自洽的训练机制，让模型在学习解决问题的同时，也学会如何评估解决问题的过程。

接下来，我将从您提出的六个具体方面，对这篇论文进行更详细的剖析。

### 1. 论文的研究目标是什么？

核心研究目标：旨在统一强化学习（RL-based）和基于搜索（Search-based）的测试时扩展（TTS）方法，为提升大型语言模型的复杂推理能力创建一个协同、高效的单一框架。
想要解决的实际问题：
1. 高昂的标注成本：当前顶尖的搜索算法（如MCTS）依赖于过程奖励模型（PRM）来指导。而训练高质量的PRM需要对推理过程的每一步进行精细的人工或LLM标注，成本极高且难以规模化。
2. 训练与推理的脱节：静态的PRM与持续优化的LLM策略之间存在分布偏移，这会导致模型学会利用PRM的漏洞（奖励滥用），而非真正提升推理能力。
3. 强化学习的低效：单纯依赖最终结果（对或错）的稀疏奖励进行RL训练，存在样本效率低、训练不稳定的问题，难以有效指导模型学习长链条的复杂推理。
对行业发展的重要性：这个问题是当前大模型从“能聊天”走向“会思考、能解决问题”的关键瓶颈。如果能解决，意味着：
- 降低顶尖AI模型的训练门槛：通过免除昂贵的过程标注，使得更多机构有能力训练出具备强大推理能力的模型，促进AI技术的普及和竞争。
- 提升模型可靠性：动态、自洽的PRM能减少奖励滥用，让模型的推理过程更可靠、更符合逻辑，这在科学发现、代码生成、教育辅导等严肃场景中至关重要。
- 指明新的技术方向：它将RL和搜索从“二选一”的竞争关系，转变为“一加一大于二”的共生关系，为未来的模型能力扩展开辟了新的思路。

### 2. 论文提出了哪些新的思路、方法或模型？

核心新思路：整篇论文的基石是一个非常优雅的洞见：在RL训练中为了优化策略而学习到的奖励函数，本身就是指导搜索的最佳PRM。它内生地、动态地与模型策略保持一致，完美地解决了静态PRM的分布偏移问题。
提出的新方法/模型： AIRL-S框架，它是一个统一了RL和搜索的训练与推理系统。其特点和优势体现在以下几个方面：
1. 用AIRL学习免标注的PRM：
  - 特点：它不依赖任何中间步骤的标签。仅通过对比模型生成的推理路径和参考的正确推理路径，其内置的判别器就能通过对抗训练学会一个高质量的、逐步骤的奖励函数。
  - 优势： > 论文中提到：“…entirely eliminating the need for labeled intermediate process data.” 这从根本上解决了PRM训练的“数据”和“成本”两大难题。
2. 稠密与稀疏奖励的结合：
  - 特点：AIRL-S的策略更新同时由两部分驱动：(1) 来自AIRL判别器的稠密过程奖励，指导每一步的精细优化；(2) 来自GRPO算法的稀疏结果奖励，确保最终目标（即答对问题）的达成。
  - 优势：这种结合既保证了训练的稳定性和高效率（稠密信号），又保证了任务的最终收敛性（稀疏信号），比单一奖励机制更为鲁棒。
3. 训练与推理的无缝统一：
  - 特点：在训练阶段作为奖励函数的判别器，在推理（测试）阶段被直接用作PRM，无需任何修改，无缝衔接Best-of-N、Beam Search、MCTS等搜索算法。
  - 优势： > 论文中强调：“…the resulting PRM simultaneously serves as the critic for RL rollouts and as a heuristic to effectively guide search procedures…” 这确保了PRM与LLM策略的完美对齐，最大限度地减少了奖励滥用风险，实现了训练和推理目标的高度一致。

### 3. 论文通过什么实验来验证所提出方法的有效性？

论文设计了全面且极具说服力的实验来验证AIRL-S框架的有效性，可以总结为“一个核心验证、三大维度对比”。

实验设计：
- 核心验证：将一个中等规模的开源模型Qwen2.5-7B-Instruct作为基础，使用AIRL-S框架进行训练，得到最终模型Qwen2.5-7B-AIRL-S。
- 三大维度对比：
  1. 模型自身性能对比 (Policy Model Performance)：将Qwen2.5-7B-AIRL-S的性能与包括GPT-4o、DeepSeek-R1在内的10个业界顶尖的开源及闭源模型进行比较。
  2. PRM泛化能力对比 (PRM Generalizability)：将AIRL-S训练出的PRM（命名为Qwen2.5-AIRL-S-PRM）与其它三种通过不同方式获得的PRM进行对比。评估方法是，将这四个PRM分别与其他不同的LLM（包括本文模型、Phi-4-14B等）组合，观察谁能带来最大的性能提升。
  3. 不同搜索算法的有效性对比 (Effectiveness on Search Methods)：在本文模型上，应用MCTS、Beam Search、Best-of-N等不同搜索算法，并与无PRM指导的Self-Consistency基线对比，验证PRM在不同搜索策略下的普适有效性。
实验数据和关键结果：
- 模型性能：如表1所示，Qwen2.5-7B-AIRL-S在8个数学和代码基准上的平均分达到57.5，超越了所有其他同规模的本地模型（如Phi-4-14B的53.4），并与GPT-4o的57.0持平。这是一个非常惊人的结果，说明该方法能让一个7B模型达到业界顶级模型的性能水平。
- PRM泛化性：图2的结果是本文的一大亮点。以Qwen2.5-7B-AIRL-S(Our LLM)为例，其基础准确率(Accuracy@1)是55.3%。
  - 搭配本文的PRM后，准确率提升至61.3%（提升了6.0%）。
  - 搭配其他PRM，如Math-Shepherd-Mistral-7B-PRM，准确率仅提升至59.8%。这个优势在搭配其他LLM时同样显著，证明了AIRL-S PRM的卓越泛化能力。
- 搜索算法有效性：图3显示，随着生成路径数量（Generation Rollouts）的增加，所有使用了本文PRM的搜索方法（MCTS, Beam Search, Best-of-N）性能都稳定提升，且显著优于未使用PRM的Self-Consistency基线。这表明PRM的指导是确实有效的。
- 消融研究 (Ablation Study)：图4通过对比“AIRL-S (有PRM)”和“仅GRPO (无PRM)”的训练过程，清晰地显示出PRM的加入显著提升了模型的训练和验证准确率，并使模型能生成更长的推理链，证明了稠密过程奖励的关键作用。

### 4. 未来在该研究方向上还有哪些值得进一步探索的问题和挑战？

结合当前大模型领域的理解，该研究方向未来充满机遇，但也面临挑战：

值得探索的问题和挑战：
1. 模型规模的扩展性（Scalability）：论文在7B模型上取得了成功。该框架在更大（如70B、100B+）或更小（如1B）的模型上是否依然有效？训练动态是否会发生变化？这是该技术能否在工业界大规模应用的关键。
2. 任务多样性（Task Diversity）：目前验证集中在数学和代码这类有明确对错答案的“封闭域”推理。在更开放的任务上，如创意写作、法律咨询、商业策略生成，如何定义“好的过程”和“专家示例”？这需要对AIRL框架中的“参考路径”进行更深入的研究。
3. 对参考数据的依赖性（Dependency on Reference Data）：AIRL-S虽然免除了过程标注，但仍需要一批高质量的“正确解题过程”作为参考。如何降低对这些高质量数据的依赖？能否从不完美的、甚至是模型自我生成的（Synthetic）数据中学习？这直接关系到方法的自动化和自进化能力。
4. 与Agent框架的结合：当前的搜索还停留在“思维链”层面。未来，如何将这种PRM引导的搜索与更复杂的AI智能体（Agent）框架结合，让Agent在规划、使用工具、与环境交互时，也能进行高效的、有远见的搜索？
可能催生的新技术和投资机会：
1. 自我进化的推理引擎：该技术是实现模型自我提升（Self-Improvement）闭环的关键一环。模型可以通过自我实践生成新的正确推理，将其加入参考数据库，反过来再优化自己的策略和PRM。这将催生出能够持续自我学习、无需频繁人工干预的“思考机器”。
2. 低成本、高性能的专用领域模型：对于金融、医疗、科研等专业领域，可以利用该技术，仅需提供该领域的标准解题/工作流范例，即可低成本地训练出具备强大专业推理能力的模型。这是一个巨大的市场机会。
3. 新一代AI开发与训练平台：围绕这种RL与搜索统一的训练范式，可以开发新的MLOps平台，专门用于管理参考数据、协调对抗训练、部署推理搜索服务，为企业提供一站式的高级AI能力构建方案。

### 5. 从批判的视角看，这篇论文还存在哪些不足及缺失？

尽管这篇论文非常出色，但从严谨的学术角度看，仍存在一些可以进一步探讨和完善之处：

存在的不足及缺失：
1. 计算成本分析缺失：论文强调了其节省了“标注成本”，但回避了“计算成本”的讨论。对抗性训练（AIRL）和强化学习本身是计算密集型的，通常比监督学习需要更多的计算资源和更长的训练时间。论文没有提供与“监督学习PRM + RL”范式在总训练成本上的详细对比。
2. 超参数敏感性讨论不足：公式(6)中的λ是平衡过程奖励和结果奖励的关键超参数。论文中设为0.5，但并未探讨其对最终性能的影响。这类RL框架的性能往往对超参数非常敏感，缺乏这部分讨论会影响方法的可复现性和鲁棒性。
3. 对“参考数据”的质量要求模糊：AIRL的成功高度依赖于“专家示例”的质量。如果参考的推理路径本身存在瑕疵、不够多样或风格单一，模型学到的PRM也可能会有偏见。论文对此未做深入分析。
需要进一步验证和存疑之处：
1. “缓解奖励滥用”的程度：论文声称该方法能“缓解奖励滥用”，因为PRM是动态的。这是一个合理的推断，但奖励滥用是一个非常顽固的问题。需要更长时间、更具挑战性的实验来验证，在长期训练下，模型是否会找到新的、更隐蔽的方式来利用这个动态PRM。
2. PRM的可解释性：学到的PRM到底在奖励什么？是逻辑的严谨性、步骤的简洁性，还是某种特定的表达风格？对PRM进行可解释性分析，将有助于我们理解模型推理能力的本质，并建立对该系统的信任。
3. 对其他模型架构的适用性：如作者在局限性部分坦言，该方法尚未在Phi-4、Gemma等其他流行的模型架构上验证。其成功可能部分依赖于Qwen系列模型的特定架构特性，普适性有待进一步验证。

### 6. 我应该从这篇论文中重点学什么？

如果您希望从中汲取可以立即应用的创新想法，以下几点是核心：

重点学习的启发和思想：
1. “资源再利用”的思维模式：这是最核心的启发。不要轻易创造一个新组件，先审视现有流程中是否产生了可以被重新利用的“副产品”。本文的精髓就是将RL训练的“副产品”——奖励函数，变废为宝，直接用作推理时的核心组件PRM。这个思想可以应用在任何复杂的系统设计中。
2. 范式统一而非对立：不要将不同的技术路径视为非此即彼的竞争关系，而应思考如何让它们协同增效。RL负责生成搜索所需要的高质量启发式函数（PRM），而搜索则将RL训练出的单一策略点的能力，扩展为一个强大的决策面。
3. 通过“对比”和“对抗”进行隐式学习：当获取显式标签（如每一步的好坏）极其困难时，可以设计一个“对比性”或“对抗性”的任务，让模型在尝试区分“好的”和“坏的”的过程中，隐式地学会评估标准。逆向强化学习（IRL）是这种思想的绝佳体现。
需要补充了解的背景知识：
1. 强化学习基础 (Reinforcement Learning)：特别是策略优化算法，如PPO、TRPO。本文使用的GRPO是其变体。理解Actor-Critic（演员-评论家）框架对于理解本文至关重要，因为PRM就扮演了Critic的角色。
2. 逆向强化学习 (Inverse Reinforcement Learning, IRL)：理解其核心思想——从专家演示中学习奖励函数。建议重点了解AIRL，特别是它如何巧妙地将IRL问题转化为GAN（生成对抗网络）的训练框架。
3. LLM中的搜索算法 (Search Algorithms in LLMs)：需要熟悉蒙特卡洛树搜索 (MCTS)、束搜索 (Beam Search) 和 Best-of-N 采样在文本生成和推理任务中的具体应用。
4. PRM vs. ORM: 深刻理解过程奖励模型 (Process Reward Model) 和 结果奖励模型 (Outcome Reward Model) 的区别，这是理解整个LLM对齐和推理优化领域研究的基础。

希望这份详尽的解读能帮助您深入理解这篇优秀的论文，并从中获得有价值的启发。