Credit_assignment - 标签 - vllbc02's blogs

Process-Supervised Reinforcement Learning for Interactive Multimodal Tool-Use Agents

vllbc — Tue, 23 Sep 2025 00:00:00 +0000

信用分配的工作，解决的问题是针对多步交互的agent，只给予结果奖励无法鼓励好的动作和抑制不好的动作，方法是利用外部大模型针对轨迹中的每一个step进行打分作为奖励，同时为了激发探索能力，混合了一些困难的数学题目。

Harnessing Uncertainty：Entropy-Modulated Policy Gradients for Long-Horizon LLM Agents

vllbc — Sat, 13 Sep 2025 00:00:00 +0000

长时序任务下的信用分配问题，部分实验结果直接使用的Group-in-Group Policy Optimization for LLM Agent Training，这说明如果到时候我写相关论文，也可以直接用别人论文的结果，避免了复现成本。不过baseline还是要自己跑。

GTPO and GRPO-S：Token and Sequence-Level Reward Shaping with Policy Entropy

vllbc — Fri, 08 Aug 2025 00:00:00 +0000

又是信用分配的论文，不过实验做的比较少，直接把wandb的表放上来了。

论文深度解读：从“大锅饭”式奖励到“精准制导”

这篇论文的核心，是解决大型语言模型在进行长链推理（long-chain reasoning）任务时的一个根本性难题：信贷分配（Credit Assignment）。想象一下，模型在解答一个需要50个步骤的复杂数学题。如果它在第49步都完美无瑕，但在最后一步算错了，导致最终答案错误。那么，传统的强化学习方法，如GRPO (Group Relative Policy Optimization)，会给这整个50步的解答过程打上一个“0分”的标签。这意味着，前面49个正确的推理步骤，和最后一个错误的计算步骤，受到了同等的“惩罚”。这种“成王败寇”、“大锅饭”式的奖励机制，效率低下且不合理，是提升模型深度推理能力的一大瓶颈。

GTPO：Trajectory-Based Policy Optimization in Large Language Models

vllbc — Fri, 08 Aug 2025 00:00:00 +0000

针对信用分配问题和熵坍塌问题进行解决。名字虽然和GTPO and GRPO-S：Token and Sequence-Level Reward Shaping with Policy Entropy一样，但T的含义不同。也都是针对信用分配提出的方法。

Beyond Policy Optimization：A Data Curation Flywheel for Sparse-Reward Long-Horizon Planning

vllbc — Thu, 07 Aug 2025 00:00:00 +0000

信用分配在规划中，并且用了我想要做的benchmark：ALFWorld、ScienceWorld和WebShop。

这篇论文的核心思想，可以说是在如何训练能执行复杂任务的“智能体（Agent）”这个问题上，提出了一个“大力出奇迹”但又充满智慧的解决范式。传统方法，尤其是强化学习（Reinforcement Learning, RL），在处理需要很多步骤才能看到最终结果（即长时程规划 Long-Horizon Planning）且中途没有任何提示（即稀疏奖励 Sparse Reward）的任务时，会陷入一个巨大的困境，我们称之为“信用分配难题（Credit Assignment Problem）”。这就像你在一个巨大的迷宫里走了100步，最后终于找到了出口，但你很难说清楚这100步里，哪几步是真正关键的。强化学习算法在这种情况下，常常因为反馈信号太弱或太滞后而无法有效学习。

CAPO：Towards Enhancing LLM Reasoning through Verifiable Generative Credit Assignment

vllbc — Thu, 07 Aug 2025 00:00:00 +0000

信用分配在推理任务中。对比了传统prm和RLVR。让大模型对step的正确与否打标签，然后针对step计算reward，然后加权计算最终token的reward计算adv。就是不知道针对adv进行加权计算是否更直接更好一点。很容易想到的方法。

Group-in-Group Policy Optimization for LLM Agent Training

vllbc — Thu, 07 Aug 2025 00:00:00 +0000

信用分配问题，而且贡献了verl-agent库，可以方便针对真实环境进行训练。思想也类似于GTPO：Trajectory-Based Policy Optimization in Large Language Models，不同的轨迹有相同的前缀，不过用在了完全不同的领域上。

Good Learners Think Their Thinking：Generative PRM Makes Large Reasoning Model More Efficient Math Learne

vllbc — Sat, 02 Aug 2025 00:00:00 +0000

一篇关于PRM的方法（最近prm有点复兴的趋势）

论文深度解读：从“结果导向”到“过程学习”的范式革命

在大型语言模型（LLM） стремительно (qián suǒ wèi yǒu)发展的今天，我们已经见证了它们在语言理解和生成方面的惊人能力。然而，要让模型真正具备强大的逻辑推理能力，尤其是在数学、编程等需要严谨步骤的领域，仅仅依赖于预测下一个词的预训练目标是远远不够的。因此，强化学习（Reinforcement Learning, RL），特别是基于结果反馈的RL方法，成为了提升模型推理能力的主流技术路径。

RLVMR：Reinforcement Learning with Verifiable Meta-Reasoning Rewards for Robust Long-Horizon Agents

vllbc — Sat, 02 Aug 2025 00:00:00 +0000

这篇也是在过程上做文章，设计了过程导向的奖励，类似Good Learners Think Their Thinking：Generative PRM Makes Large Reasoning Model More Efficient Math Learne

和First Return, Entropy-Eliciting Explore等类似都是为了解决信用分配问题。

PROCESS REINFORCEMENT THROUGH IMPLICIT REWARDS

vllbc — Wed, 16 Jul 2025 00:00:00 +0000

论文深入解读

这篇名为《Process Reinforcement through Implicit Rewards》(通过隐式奖励进行过程强化) 的论文，由来自清华大学、上海人工智能实验室、UIUC 等顶尖机构的研究者共同完成，为大语言模型（LLM）的强化学习（RL）领域带来了一个极具价值和创新性的解决方案——PRIME 框架。其核心贡献在于，它成功地将过程监督 (Process Supervision) 的高效率与结果监督 (Outcome Supervision) 的低成本相结合，解决了在复杂推理任务（如数学和编程）中应用强化学习时面临的关键瓶颈。