长时程 Agent 的 GRPO 只看到最后一刻的成败信号：一条轨迹只要最终成功，路上多少重复、无效、自相矛盾的动作都会被一并强化。论文把这种「结果对、过程乱」定义为 inefficient exploration。 RLVMR 的处理方式是让 Agent 用四种标签声明自己此刻在做哪类思考，再用规则给这些步骤发可验证的过程奖励，与结果奖励一起合成每步优势。
两种常见训练范式各缺一半：SFT 在见过的任务上动作短、无效动作少，但换成未见任务就退化；仅结果的 GRPO 泛化更好，却学会了「不管怎么绕，成功就行」。7B 模型在 ALFWorld 未见任务 L2 上的重复动作率，SFT 是 14.4%，GRPO 是 31.2%。
RLVMR 的抓手是把「思考」变成可检查的字段：每步先输出一个元认知标签，再输出动作。探索新对象/位置、失败后反思并纠正、输出格式合规都写成规则判定，不训练奖励模型；只有 planning 奖励要看整条轨迹是否最终成功。
优势不再只有轨迹级一项：GRPO-MR 把同批次里同一标签的步骤分成一组做组内标准化，再和轨迹级优势按 A = α·Atraj + (1−α)·AMRtag 合成，α 默认 0.5。训练前先在一批带标签轨迹上做 5 轮 SFT 冷启动。
先看清「低效探索」长什么样，再判断为什么加模型、加数据都治不了它。
ALFWorld 和 ScienceWorld 都是纯文本的长时程任务：一个回合最多 30 步（§4.1、附录 A.2），Agent 每步交替给出思考与动作，通常只在回合结束才拿到「成功 / 失败」。论文把交互写成 MDP (S, A, O, F, R)，优化目标为 maxθ 𝔼τ~π[R(τ)]（Eq. 1）——reward 只存在于轨迹末尾，中间每一步对它的贡献没有任何区分。
论文 §2.2 给了一个具体的 GRPO 轨迹片段：任务是把两个钥匙串放进保险箱（L2 未见任务）。第 7 步 Agent 已经到了 dresser 1，第 8 步拿到了 keychain 1，思考里也写明了「还得找第二个钥匙串」。但接下来它连续执行 go to dresser 1，环境只回 Nothing happens.。思考和动作脱节了：策略只是复现训练数据里的动作分布，推理没有真正参与决策。
SFT 和 GRPO 的成功率可以很高，但成功路径里混着多少重复、无效步骤，目标函数完全不看。论文因此给出一个更完整的三指标判据：成功率，加无效动作率与重复动作率——后两者直接量化「低效探索」。
论文接着用 7B 模型在 ALFWorld 三个难度层上的数字说明这不是个别现象：从 L0（见过的任务与类别）到 L2（连任务类别都没见过），重复动作率的变化是 SFT 13.9% → 14.4%，GRPO 21.5% → 31.2%（图 3；同图也给出 RLVMR 的对应值）。难度一升，两种范式都更乱，只是乱法不同：SFT 升得慢，GRPO 升得猛。
把每一层的数字摆出来：SFT 的能力上限停在哪，GRPO 的过程有多乱，加模型尺寸又能不能救。
在成功轨迹上做监督微调。7B 模型在 ALFWorld 上的成功率从零样本 ReAct 的 23.1% 升到 L0 的 63.3%，L0 无效动作率 6.2%，动作最短（10.8 步，Table 2）。
盲区：碰到专家数据里没有的情形就退回去。L2 成功率掉到 37.5%，重复动作率从 L0 的 13.9% 升到 L1 的 24.5%（§2.3）。
同一初始状态采样多条轨迹，用最终回报做组内比较。7B 在 L1 拿到 77.3%、L2 拿到 52.3%，明显超过 SFT。
盲区：任何通往成功的路径都会被强化。7B 在 L0 重复动作 21.5%、无效动作 14.8%，到 L2 重复动作率升到 31.2%。
一个自然的反驳是「换大一点的模型不就行了」。论文的数据恰好相反：从 1.5B 放大到 7B，GRPO 在 L2 上的成功率从 29.7% 升到 52.3%，但重复动作率也从 27.1% 升到 31.2%。更大的模型把能力用在了更高效地沿用坏策略上——问题出在优化目标，不在容量。
§4.1 的对比方法里还有两个「已经有过程/细粒度信号」的代表：ETO 用轨迹上的步骤级反馈迭代修正动作，GiGPO 用两层分组做更细的信用分配。两者都优于 GRPO，但都没有显式监督「推理质量」。论文的整个增量，是把「好的思考」本身变成可验证、可奖励的对象。
| 范式 | ALFWorld 7B L0 | L1 | L2 | 过程质量（7B · L2） |
|---|---|---|---|---|
| SFT | 63.3 | 57.0 | 37.5 | 重复动作 14.4% |
| GRPO | 79.3 | 77.3 | 52.3 | 重复动作 31.2% / 无效动作 13.5% |
| RLVMR | 91.4 | 91.8 | 83.6 | 重复动作 11.7% / 无效动作 7.1% |
成功率取自 Table 1；过程质量取自图 5 的 RLVMR、图 3 的 SFT / GRPO（均为百分比）
方法分三层：可检查的标签、规则化的过程奖励、按标签分组的相对优势。
ReAct 里思考是一个整体，无法定位哪里好哪里坏。RLVMR 要求每步输出一个 XML 风格的元认知标签，动作统一放在 <action> 里（§3.2）：
开局或需要重规划时，把任务拆成高层步骤；对应的奖励要求整条轨迹最终成功才发。
面对不确定或卡住时提出假设、选备选；动作指向新对象或新位置时获得探索奖励。
失败后回顾并纠正；常规执行时对照计划看子目标。反思奖励要求反思后紧跟一个纠正动作。
rplanning、rexplore、rreflection 与格式惩罚 −λformat（§3.4.1）
这四种奖励全部是程序化判定：探索奖励看「是否指向新对象/位置」，反思奖励看「失败序列之后是否出现反思且紧跟纠正动作」，格式惩罚看输出是否同时包含至少一个元认知标签和一个 <action>（附录 A.2，λformat = 0.1）。不需要额外的奖励模型，也不依赖 LLM 裁判。
轨迹级优势沿用 GRPO：Atrajk = (R(τk) − μR) / σR（Eq. 2），整条轨迹共享一个数。RLVMR 再加一层：把同一个 batch 里所有步骤按标签分组，组内标准化元认知奖励（Eq. 3）：
最终每步优势是两个信号的加权和（Eq. 4），再进入带 KL 正则的裁剪目标（Eq. 5）：
为什么必须先按标签分组、再做标准化？如果把整个 batch 的所有步骤混在一起求 μ、σ，可得分的步骤（比如拿到探索奖励的）天然会拉高均值；一条一切正常的轨迹，它的每一步都会拿到负的优势。按标签分组后，一条正常轨迹在某一类思考里拿到负值，另一条有真实纠正动作的轨迹在同类思考里拿到正值——这正是「过程质量」要表达的比较。下面的模拟器把这个差别做成了可切换的按钮。
玩具情节照搬论文里的两个片段：GRPO 反例中「已在 dresser 1、仍在找第二个钥匙串，却反复 go to dresser 1」（§2.2），以及 RLVMR 案例中第 14 步幻觉、第 15 步反思并「清点背包」（§4.2）。未得奖的步骤记 0.40，拿到探索 / 纠正奖励的步骤记 0.60，格式合规不加不减。「整批混在一起」只看当前这一条轨迹，「合成最终优势」则放入一对成功 / 失败轨迹，各 3 条。
提示：先看「同标签分组」——τ1 第 4–5 步重复去同一抽屉，在 explore 组里被压低；τ3 第 5 步的反思纠正被抬高。再点「整批混在一起」，所有未得奖步骤都变成负值，好的反思与无意义的重复拿到了同一个数。
归一化严格按 Eq. 3：组内减均值、除标准差。为了让奖励连续、可手算，模拟用的是 0.40 / 0.60 两档，和格式罚分 −0.1；论文的 rplanning、rexplore、rreflection 具体数值论文没有逐一给出。
论文里没有单独的 <monitor> 奖励，只有 planning / explore / reflection 三种；模拟把 monitor 步骤也归入「未获得奖励」的基线档。
「合成最终优势」里，失败轨迹的 R(τ) 记为 0、成功记为 1、同组各 3 条，于是 Atraj = ±0.5；这正是 Eq. 2 的结果。真实 batch 是附录 A.2 的默认配置：16 个环境 × 8 条轨迹，α 与 1−α 两路权重都是 0.5。
两阶段：200 条轨迹的 SFT 冷启动只负责「会写标签」，推理能力靠 RL 阶段配合密集奖励练出来。
跳出 §3.4 的公式，这套方法能跑起来还有两个前置条件。第一，模型得先会按格式写元认知标签。论文报告，尤其是 1.5B 模型，如果跳过冷启动，RL 过程中常常输出无法解析的结果，训练不稳定甚至策略坍塌（§4.4）。冷启动的构造方式是：取一批只含观察-动作对的成功轨迹，让更强的教师模型（如 GPT-4）推断每个动作之前最可能属于哪类思考并打上标签，再让目标模型在这批标注数据上模仿。
第二，每一步的分数必须能即时判定，否则过程奖励就没法在在线采样时输出。RLVMR 用规则而不是模型打分，代价是奖励的种类受限于能被程序检查的行为——探索到新状态、失败后的纠正、格式是否合规。这也是「verifiable」一词在论文里的含义。
| 环节 | 设置 | 出处 |
|---|---|---|
| 基座模型 | Qwen2.5-1.5B-Instruct / 7B-Instruct，ReAct 框架 | §2.1、附录 A.2 |
| 冷启动 SFT | 200 条轨迹，batch 16 / GPU，lr 1e-5，5 个 epoch | §4.1、附录 A.2 |
| RL 框架 | veRL 基础上修改；batch 16 / GPU | 附录 A.2 |
| Rollout 规模 | 每步从 16 个环境采样，每个环境 8 条轨迹 | 附录 A.2 |
| 优势权重 | outcome 与 meta-reasoning 两路各 0.5（即 α = 0.5） | §4.1、附录 A.2 |
| 格式罚分 / KL | −0.1；KL 系数 0.01 | §4.1、附录 A.2 |
| 回合上限 | 两个环境都最多 30 步 | §4.1、附录 A.2 |
| RL 训练轮数 | RLVMR 100 轮，RL 基线 150 轮 | §4.1 |
算力配置论文没有交代；但可以确定额外开销不来自新模型：过程奖励是纯规则判定，GRPO-MR 只多了一次按标签重索引与组内标准化，更新目标仍是 PPO 式的裁剪 surrogate（Eq. 5），不带 critic。冷启动 5 个 epoch、200 条轨迹的量级，也明显小于一般的 SFT 流水线。
在 Qwen2.5-1.5B 上做 L2 消融：完整版 ALFWorld 56.3 / ScienceWorld 26.5。
注意分组发生在 rollout 之后：多出来的全是算术，没有新的采样，也没有新的模型。
流程里最容易忽略的是冷启动模型与策略的关系：附录 A.2 把 KL 正则的参考策略记为 πref，冷启动 SFT 后的模型是天然候选；论文没有逐字点名这个对应关系，页面上按「冷启动产物作为初始策略」来画。此处若有出入，以原文附录为准。
五张表与两幅图：成功率、过程质量、动作长度、训练曲线，所有数字可在论文与附录中查到。
| 模型 | 方法 | ALFWorld L1 ↑ | ScienceWorld L2 ↑ | 对照重点 |
|---|---|---|---|---|
| GPT-4o | ReAct | 66.0 | 41.0 | 提示基线 |
| DeepSeek-R1 | ReAct | 70.2 | 29.1 | 提示基线 |
| Qwen-7B | + GRPO | 77.3 | 26.6 | 仅结果 |
| + GiGPO | 90.2 | 25.8 | 两层分组 | |
| + RLVMR | 91.8 | 32.2 | 轨迹 + 同标签优势 | |
| Qwen-1.5B | + GRPO | 71.1 | 10.9 | 仅结果 |
| + GiGPO | 83.2 | 4.7 | 两层分组 | |
| + RLVMR | 87.9 | 26.5 | 小模型追近 7B 基线 |
成功率（%）取自 Table 1：ALFWorld 列为 L1（未见变体、见过类别），ScienceWorld 列为 L2（变体与类别都未见）。7B 的 ALFWorld L2 是 GRPO 52.3 / GiGPO 67.2 / RLVMR 83.6。
下图按 L0 / L1 / L2 切换，看 7B 模型在 GRPO（紫）与 RLVMR（陶土红）之间，重复动作率与无效动作率的差距如何随难度变化。两者都来自 Figure 5（b、d 面板），数值可逐柱核对。
7B 模型上，重复动作率在三种难度下分别是 GRPO 21.5 / 24.5 / 31.2，RLVMR 2.3 / 7.8 / 11.7；无效动作率是 GRPO 14.8 / 25.4 / 13.5，RLVMR 5.6 / 6.5 / 7.1。两组的绝对值都随难度上升，但 GRPO 在 L1 的无效动作上冲到了 25.4，接近同难度下 SFT 的 5.5 的四倍半——这与 §2.2 的钥匙串例子是同一个现象。
| 环境 | Level | Vanilla | SFT | GRPO | GiGPO | RLVMR |
|---|---|---|---|---|---|---|
| ALFWorld | L0 | 28.8 | 23.2 | 15.8 | 12.6 | 10.8 |
| L1 | 29.1 | 24.5 | 18.1 | 14.7 | 11.6 | |
| L2 | 28.9 | 27.5 | 21.7 | 19.4 | 15.4 | |
| ScienceWorld | L0 | 25.8 | 22.9 | 15.4 | 14.7 | 12.5 |
| L1 | 27.9 | 25.7 | 26.7 | 25.2 | 18.8 | |
| L2 | 26.8 | 26.2 | 27.6 | 26.3 | 20.5 |
Table 2：平均动作长度（越短越好）。表头未标明模型尺寸，论文 §4.3 的解读以「RLVMR 在所有场景都更短」为准
ALFWorld L2 上，RLVMR 平均 15.4 步，比 GRPO 的 21.7 少 28.1%，比 GiGPO 的 19.4 少 20.6%（§4.3）。ScienceWorld 上优势同样存在，且基线在 L1/L2 的动作数反而比 L0 更长——策略在学着尝试更多更复杂的动作，却没有明确的推理策略。图 6 的训练曲线显示，RLVMR 在 ALFWorld 上约 100 步内就把成功率拉到 0.9 以上，动作长度也持续下降；GRPO 与 GiGPO 的动作数下降更慢，ScienceWorld 上还有反复抬升。
它的核心资产是一组规则和标签，收益上限就落在这组规则能覆盖的行为上。
探索奖励只看「是否瞄准新对象或新位置」，反思奖励只看「失败后是否纠正」。一个错误但「看起来像反思」的步骤，只要后面跟着一个动作，依然可能拿到正奖励。论文没有给出基于语义正确性的验证手段，这也意味着奖励可以被「格式上正确」的轨迹刷高。
附录 A.2 说明冷启动在 200 条教师标注轨迹上训练，论文正文举的例子是 GPT-4。教师模型的标注质量、API 成本与可复现性都被带进了流水线。消融里去掉冷启动，1.5B 在 L2 上从 56.3 掉到 40.6。
ALFWorld 与 ScienceWorld 都是纯文本、离散动作、回合上限 30 步。论文 §6 把多模态、机器人、软件工程列为 future work；在连续状态、嘈杂观测或需要视觉反馈的场景里，规则型的探索奖励怎么写，论文没有回答。
正文与附录都只给 α = 0.5 一个值，没有报告 α 在 [0,1] 上的扫描或敏感性；也没有说明 σtag 在标签组过小或方差为 0 时的处理（例如某个标签只在一个环境里出现）。这些都是复现时要额外决定的设计点，论文的代码在 Tencent/DigitalHuman 仓库的 RLVMR 目录下，可作为参考。
一句话总结：RLVMR 的贡献不是「有了过程奖励就更好」，而是证明了过程奖励必须和组内相对比较、标签条件化、结果信号三者配合，且过程奖励本身必须是可计算的。