Prm - 标签 - vllbc02's blogs

BEYOND CORRECTNESS：HARMONIZING PROCESS AND OUTCOME REWARDS THROUGH RL TRAINING

vllbc — Mon, 08 Sep 2025 00:00:00 +0000

利用orm和prm筛选数据，然后用筛选好的数据进行训练，最近好多这种筛选的思路，如Sample More to Think Less：Group Filtered Policy Optimization for Concise Reasoning和rStar2-Agent：Agentic Reasoning Technical Report

Your Reward Function for RL is Your Best PRM for Search：Unifying RL and Search-Based TTS

vllbc — Sat, 23 Aug 2025 00:00:00 +0000

利用专家轨迹和逆向强化学习优化一个prm，用于grpo中计算奖励。

首先，让我们进入对这篇论文的整体深度解读。

论文深度解读：一个“免费”且“动态”的推理过程裁判

当前，为了提升大型语言模型（LLM）在数学、编程、科学推理等复杂任务上的表现，学术界和工业界主要探索两大类测试时扩展（Test-Time Scaling, TTS）技术。您可以将TTS理解为，在模型推理（回答问题）时，不满足于只生成一个答案，而是通过投入更多的计算资源来探索多种可能性，从而找到更优的解。

CAPO：Towards Enhancing LLM Reasoning through Verifiable Generative Credit Assignment

vllbc — Thu, 07 Aug 2025 00:00:00 +0000

信用分配在推理任务中。对比了传统prm和RLVR。让大模型对step的正确与否打标签，然后针对step计算reward，然后加权计算最终token的reward计算adv。就是不知道针对adv进行加权计算是否更直接更好一点。很容易想到的方法。

Good Learners Think Their Thinking：Generative PRM Makes Large Reasoning Model More Efficient Math Learne

vllbc — Sat, 02 Aug 2025 00:00:00 +0000

一篇关于PRM的方法（最近prm有点复兴的趋势）

论文深度解读：从“结果导向”到“过程学习”的范式革命

在大型语言模型（LLM） стремительно (qián suǒ wèi yǒu)发展的今天，我们已经见证了它们在语言理解和生成方面的惊人能力。然而，要让模型真正具备强大的逻辑推理能力，尤其是在数学、编程等需要严谨步骤的领域，仅仅依赖于预测下一个词的预训练目标是远远不够的。因此，强化学习（Reinforcement Learning, RL），特别是基于结果反馈的RL方法，成为了提升模型推理能力的主流技术路径。

PROCESS REINFORCEMENT THROUGH IMPLICIT REWARDS

vllbc — Wed, 16 Jul 2025 00:00:00 +0000

论文深入解读

这篇名为《Process Reinforcement through Implicit Rewards》(通过隐式奖励进行过程强化) 的论文，由来自清华大学、上海人工智能实验室、UIUC 等顶尖机构的研究者共同完成，为大语言模型（LLM）的强化学习（RL）领域带来了一个极具价值和创新性的解决方案——PRIME 框架。其核心贡献在于，它成功地将过程监督 (Process Supervision) 的高效率与结果监督 (Outcome Supervision) 的低成本相结合，解决了在复杂推理任务（如数学和编程）中应用强化学习时面临的关键瓶颈。