Self-Evolution - 标签 - vllbc02's blogs

BEYOND PASS@1：SELF-PLAY WITH VARIATIONAL PROBLEM SYNTHESIS SUSTAINS RLVR

vllbc — Thu, 21 Aug 2025 00:00:00 +0000

解决熵坍塌，自我博弈策略。

这篇论文的核心思想极其精妙，它试图解决当前大模型在进行强化学习训练时遇到的一个根本性瓶颈：“竭泽而渔”式的学习。传统的强化学习方法，尤其是基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards, RLVR），在提升模型解决特定问题的“准确率”（即 Pass@1）方面效果显著，但这往往以牺牲模型的“思维多样性”为代价。您可以将其想象成一个学生，为了应付考试，只反复刷同一套题库。他可能会对这些题型了如指掌，考试能得高分（高Pass@1），但一旦遇到稍微新颖或需要发散思维的题目，他就束手无策了，因为他的解题思路已经被固化，探索更优解法的潜力（即 Pass@k）受到了限制。

ETTRL：BALANCING EXPLORATION AND EXPLOITATION IN LLM TEST-TIME REINFORCEMENT LEARNING VIA ENTROPY MECHANISM

vllbc — Tue, 19 Aug 2025 00:00:00 +0000

依旧是利用熵，也是在熵高的位置分叉，类似AGENTIC REINFORCED POLICY OPTIMIZATION和CURE：Critical-Token-Guided Re-concatenation for Entropy-collapse Prevention。从而共享路径，减少计算。此外基于熵进行了优势函数重塑。根据熵来调整优势值。TTRL：Test-Time Reinforcement Learning

R-Zero：Self-Evolving Reasoning LLM from Zero Data

vllbc — Sat, 09 Aug 2025 00:00:00 +0000

思想类似于GAN，生成与对抗，然后自我进化。

这篇由腾讯AI Lab等机构提出的R-Zero框架，无疑是朝着“让AI自力更生”这一宏伟目标迈出的坚实一步。它探索了一个核心问题：我们能否摆脱对海量、昂贵的人工标注数据的依赖，让大语言模型（LLM）通过自我博弈和进化，实现推理能力的持续提升？这篇论文给出了一个肯定的、且极具创造性的答案。

Beyond Policy Optimization：A Data Curation Flywheel for Sparse-Reward Long-Horizon Planning

vllbc — Thu, 07 Aug 2025 00:00:00 +0000

信用分配在规划中，并且用了我想要做的benchmark：ALFWorld、ScienceWorld和WebShop。

这篇论文的核心思想，可以说是在如何训练能执行复杂任务的“智能体（Agent）”这个问题上，提出了一个“大力出奇迹”但又充满智慧的解决范式。传统方法，尤其是强化学习（Reinforcement Learning, RL），在处理需要很多步骤才能看到最终结果（即长时程规划 Long-Horizon Planning）且中途没有任何提示（即稀疏奖励 Sparse Reward）的任务时，会陷入一个巨大的困境，我们称之为“信用分配难题（Credit Assignment Problem）”。这就像你在一个巨大的迷宫里走了100步，最后终于找到了出口，但你很难说清楚这100步里，哪几步是真正关键的。强化学习算法在这种情况下，常常因为反馈信号太弱或太滞后而无法有效学习。