长时序 Agent 只有最终成败一个信号，中间哪一步关键，策略梯度并不知道。论文先证明了一个常被忽略的耦合：策略梯度的期望范数随熵单调变化——自信步骤梯度小、不确定步骤梯度大而噪声也大。 EMPG 把每一步的平均 token 熵做成乘在优势上的缩放系数，再给「让下一步更清晰」的动作加一项奖励，以即插即用的方式叠在 GRPO / DAPO 之上。
问题不是「没有奖励」，而是奖励的落点错了。论文把信用分配视为信号失真：所有步骤共享轨迹级优势 A，而每步的梯度范数由自身的熵决定——置信度天然地在调节更新幅度，却没被任何人利用。
自校准梯度缩放：把步级熵做批次 min-max 归一化，用 g(H)=exp(−k·H_norm)/mean 乘在 A 上，批次均值恰好为 1——它只做重分配、不整体放大。高置信步骤得到放大，高熵探索步骤被压低。
未来清晰度奖励：再加一项 ζ·exp(−k′·H_norm(t+1))，奖励「让下一步更确定」的动作，给探索指了方向，而不是盲目乱走。
作为纯 advantage 调制模块，它叠在 GRPO 与 DAPO 之上，三种任务、三档模型规模全部涨点，且 OOD 涨幅大于 ID 涨幅——说明学到的是应对不确定性的能力，而非拟合训练分布。
读完这节你应该明白：为什么「把所有步骤一视同仁地乘同一个优势」会同时导致学得慢和训得抖。
论文把长时序任务建模成标准 RL：一条轨迹 τ=(s₀,a₀,r₀,…,s_T,a_T,r_T)，非终止步奖励全为 0，无折扣（γ=1），所以回报完全由最终成败决定：R(τ)=r_T∈{0,1}。一个 step 对应一次完整的「先思考、再行动」（ReAct 式）。
在这种设置下，难的不只是奖励稀疏，还有 credit assignment（信用分配）。策略梯度写成：
但即使 A 完全相同，每一步对参数的实际推动力也不同。论文的 Proposition 1 给出原因：对 logits 做 softmax 的策略，score function 的期望平方范数直接由策略的 Rényi-2 熵 H₂(π) 决定：
熵越低，右边的值越小。直觉是：策略越自信，正确动作就脱离了其它候选，log-softmax 的梯度就越小。于是出现两难：
这类步骤最该被强化，但它的梯度天然就小——同样的 A，推动参数的力度不够，收敛被拖慢。
高熵步骤梯度大，一旦轨迹失败，大幅负更新会把有益的探索一起打掉，训练剧烈波动。论文称之为 entropy-gradient coupling。
所以目标不是「把熵压小」——那会诱发 hallucinated confidence（自信地错）。目标是按每一步的不确定性，重新校准学习信号。
论文把相关工作对照成两路：造稠密奖励 vs 组内相对优势——各自都把整条轨迹当成一个整体。
做法：reward shaping、基于新颖性的内在动机、逆向强化学习，或 Process Reward Model（PRM）逐步打分。
卡在哪：计算代价大、不适配庞大的状态-动作空间；PRM 要大量人工标注、合成数据训练易带噪、在 OOD 上泛化差。交互式任务里「哪一步正确」本身就依上下文而定，步骤标签难以定义。
做法：GRPO 对同一 query 采样 M 条响应，用 Z-score 形式的组内相对优势 A=(r−mean)/(std+ε)；DAPO 再加动态采样与解耦裁剪。
卡在哪：它们为单轮生成设计，把整条动作序列当成一个整体块（monolithic block），只给出轨迹级信用分配，定位不到长序列里真正关键的那一步；同时忽略了每一步可用的内在信号。
还有第三种更近的做法：用熵来调制优势。SEED-GRPO 用语义熵给高熵响应降权，Cheng 等人用 token 级熵塑造优势，EDGE-GRPO 在单轮数学推理上放大自信正确、衰减错误与不确定的更新。但它们都停留在token 级或响应级的单轮生成；论文认为，如何把 Agent 的内在不确定性用于多步长时序的信用分配，仍然欠探索。
近期有工作发现「RL 主要更新高熵 token」。论文在 ALFWorld 上分析超过 9,000 个步骤，按初始熵的分位区间统计 RL 后的平均熵变化（Figure 3）：即便初始熵很低的步骤（例如 15%–20% 分位）也发生了可观的熵变化。说明一个自信的步骤同样可能需要大幅更新，调制必须在整个置信度谱上生效，而不能只盯高熵区域。
整篇方法就四行公式：步级熵、归一化、自校准缩放 g(H)、未来清晰度奖励 f(H)。
一个 step 由 token {w₁,…,w_m} 组成，取其中每个 token 的熵的平均：
先做批内 min-max 归一化，再取指数并按批内均值归一：
H_norm 落在 [0,1]，exp(−k·H_norm) 是递减正数，再除以均值，于是：低于批次平均熵的步骤得 g>1（放大），高于平均的得 g<1（衰减）。论文给的定性规则：
把它理解成奖励「通向更可预测未来」的动作，对应一个逐步目标 mina_t H(πθ(st+1))（Eq. 6），论文用 information gain / empowerment 的观点解释它。两部分合起来就是调制后的优势：
论文附录 B 进一步把整个更新写成复合目标的梯度：JEMPG = Jextrinsic + Jintrinsic（Eq. 16）。外推项是把原目标换成「状态相关的加权测度」，内推项正是 clarity reward 的累积期望——所以 GEMPG = Σ [A·g(H_t) + ζ·f(H_{t+1})] ∇log π（Eq. 24）不是拼凑，而是某个目标的真实梯度。
下面 5 个步骤代表同一批里的 5 个 step，每条柱子是它乘法项之后的优势 A·g。拖动 k 或直接改某个步骤的熵，观察分配比例的变化。默认预设（k=1，H=[0.2,1,1,1,1.6]，A=[+1,+1,−1,+1,−1]）与下方「手算核对」逐位一致。
① 归一化：min=0.2，max=1.6，区间 1.4。H_norm = [0, 0.5714, 0.5714, 0.5714, 1]。
② 指数：exp(−H_norm) = [1, 0.5647, 0.5647, 0.5647, 0.3679]，求和 = 1 + 3×0.5647 + 0.3679 = 3.0620，批内均值 = 3.0620/5 = 0.6124。
③ 缩放：g = [1.6329, 0.9221, 0.9221, 0.9221, 0.6007]，均值 = 1。步骤 A 的 g 是步骤 E 的 2.72 倍。
④ 乘法项 A·g = [+1.633, +0.922, −0.922, +0.922, −0.601]。同样是失败（A=−1），低熵的步骤 C 被罚得比高熵的步骤 E 更重——这正是对「自信地错」的强纠正。
最后还有一层 Eq. 13 的批内零均值归一化（A_final = A_mod − mean(A_mod)），模拟器画的是乘法项本身，不含这一层。
不需要 value model、不需要额外 rollout、不需要外部标注——只在优势上多算两次 exp。
EMPG 被实现成一个 advantage modulation module，直接叠在 GRPO 或 DAPO 之上：采样、裁剪、KL 惩罚统统不动，只把 A(i) 换成 A_final(i,t)。Algorithm 1 把它拆成 6 步，每轮训练内完成：
A(i)。{H_t}（熵在 rollout 时本来就有，取均值即可）。H_norm，按 Eq. 10 得 g(H_t)。作者特意用了无状态的 min-max，而不是用历史统计——这样它会自动跟随策略自信度的变化。f(H_{t+1})，组装 A_mod。A_mod 去均值得到 A_final（方差缩减，标准做法）。A_final 做策略梯度。超参数只有三个：k（缩放锐度）、k′（奖励锐度）、ζ（奖励权重）。论文两组实验都固定 k=k′=1.0，ζ 在 WebShop / ALFWorld 取 0.05、Deep Search 取 0.1。由于 g 的批内均值为 1，缩放本身不会整体改变学习率，理论上与原有优势归一化的配合更稳。
与 GRPO / DAPO 一样直接由组内采样估计优势，省去与策略同规模的 critic 及其内存开销。
rollout 时每个 token 的熵已算出，步级 H 只是对 action 段取均值，调制只是两次 exp 与一次批内均值。
与具体算法解耦：论文在 GRPO 与 DAPO 两种底座、三种任务上验证，收益不依赖某个特定 backbone。
WebShop、ALFWorld 在 Verl-Agent（veRL 上的 Agent 扩展）中训练。原实验在 H200 上跑，作者因资源限制改用 A100：1.5B 用 4×A100，7B 用 8×A100，所有 baseline 在相同硬件、种子、设置下重训。学习率 1e-6、批大小 16、训练 150 步、rollout 组大小 8、温度 1.0；ALFWorld 最多 50 个动作，WebShop 最多 15 个。WebShop / ALFWorld 的实现基于 GiGPO 公开代码库。
Deep Search 在 ByteDance 内部的 RL 框架上训练，模型为 Qwen2.5-32B-Instruct，配 Bing Search 与网页阅读工具；训练集是从 WebWalker、HotpotQA、2WikiMultiHopQA、NaturalQuestions、TriviaQA 中过滤出的 17k 条。批大小 64、训练 220 步、rollout 组大小 16、32×A100，KL 系数 0.001、熵系数 0。
论文 Figure 1 左侧的机制示意，重绘成数据流：每个 step 从「共享 A」变成「A·g + ζ·f」。
这套流程不增加 rollout 次数，也不需要额外的模型。它在计算上唯一的额外成本是批内再跑一遍熵的归一化与两次指数运算——相较于 32B 模型的采样与反传，可以忽略。
Table 1 与 Table 2 的关键数字。标 * 的是作者在相同硬件下复现的结果，其余取自 GiGPO。
Table 1 报告 3 个随机种子的平均。ALFWorld 给出 6 个子任务的成功率与总平均；WebShop 给出得分与成功率。
| 模型 / 方法 | ALFWorld 平均 | WebShop 得分 | WebShop 成功率 |
|---|---|---|---|
| Qwen2.5-1.5B · GRPO* | 65.6 | 78.0 | 58.2 |
| Qwen2.5-1.5B · GRPO + EMPG* | 73.7 (+8.1) | 80.4 | 60.8 (+2.6) |
| Qwen2.5-1.5B · DAPO* | 80.8 | 85.9 | 73.2 |
| Qwen2.5-1.5B · DAPO + EMPG* | 88.1 (+7.3) | 86.8 | 73.8 (+0.6) |
| Qwen2.5-7B · GRPO* | 74.8 | 77.8 | 65.6 |
| Qwen2.5-7B · GRPO + EMPG* | 78.5 (+3.7) | 81.0 | 69.3 (+3.7) |
| Qwen2.5-7B · DAPO* | 90.0 | 90.6 | 79.6 |
| Qwen2.5-7B · DAPO + EMPG* | 91.6 (+1.6) | 92.0 | 82.7 (+3.1) |
注意几个反直觉的点：EMPG 给 弱底座带来的提升更大。1.5B 的 GRPO 在 ALFWorld 上 +8.1，而已经很强的 7B DAPO 只 +1.6。这符合方法逻辑——底座越差，轨迹里「自信但错」或「完全迷茫」的步骤越多，校准的空间就越大。
Table 2 按域拆分：ID 包含 WebWalker、HotpotQA、2wiki，OOD 包含 Musique、Bamboogle。每格是一个方法的分数，下面一行是与 DAPO 基线的差。
| 方法 | WebWalker | HotpotQA | 2wiki | ID 平均 | Musique | Bamboogle | OOD 平均 | 总平均 |
|---|---|---|---|---|---|---|---|---|
| DAPO（基线） | 55.1 | 66.4 | 68.9 | 63.5 | 38.8 | 80.8 | 59.8 | 62.0 |
| + Gradient Scaling（仅缩放） | 54.9 | 68.8 | 67.4 | 63.7 | 41.0 | 86.4 | 63.7 | 63.7 |
| + Future Bonus（仅奖励） | 60.6 | 69.7 | 67.9 | 66.1 | 40.4 | 82.4 | 61.4 | 64.2 |
| + EMPG（完整） | 57.5 | 71.2 | 71.0 | 66.6 | 41.8 | 84.8 | 63.7 | 65.3 |
| 相对基线增益 | +2.4 | +4.8 | +2.1 | +3.1 | +3.0 | +4.0 | +3.9 | +3.3 |
完整 EMPG 的总分比 DAPO 高 3.3 分，但更要看消融的分工：
在线 RL 微调常见 policy collapse：后期策略发散、性能断崖。论文追踪训练中的 KL Loss：DAPO 基线在约 240 步后 KL 开始剧烈抖动，而 EMPG 加持的版本全程保持低而平稳。为公平比较，基线与 EMPG 都在 220 步取 checkpoint 评估——作者特别指出，EMPG 若继续训练还能再涨。
学习曲线方面（Figure D.1，7B 模型在 WebShop / ALFWorld 验证集上），基线普遍早早进入平台期、成功率停滞；EMPG 版本则持续突破这一平台，最终收敛到明显更高的成功率。论文据此认为，它不只是加速收敛，而是让策略跳出基线陷入的局部最优。
以下几条里，边界一、边界三由论文自己的数据或设置可以直接读出，其余几条是本页的推论。
7B DAPO 在 ALFWorld 上已经 90.0，EMPG 只能加到 91.6（+1.6）；1.5B GRPO 上则是 +8.1。当底座的信用分配本身已足够好、轨迹中的失配步骤很少时，可校准的空间也小。
作者未讨论熵代理的局限，仅将 MC dropout/集成方差列为 future work（§4.1）。§4.1 中作者把平均 token 熵设为默认选择，理由是它与 Proposition 1 的理论联系最直接。至于「模型可能以极低熵自信地生成错误内容」，这是 §1 引用文献 [45] 时的背景陈述，不是作者对本身工作的自评。由此引出的是本页推论：EMPG 会放大对低熵错误步骤的惩罚，但无法消除熵与语义真实性之间的鸿沟。
实验覆盖 WebShop、ALFWorld、Deep Search 三种文本交互环境，最大到 32B。具身 AI、多智能体协作被列为未来工作，连续动作、多模态输入下的表现尚无数据。
Future Clarity Bonus 奖励进入更确定的状态。短期看它把探索导向有意义的路径；但一个暂时高熵、长期更优的路径也可能被系统性低估。论文没有对这一点做专门实验，只有 Deep Search 上 Bamboogle 一栏 OOD 分数（EMPG 84.8，仅 Gradient Scaling 时 86.4）暗示加性奖励并非每个子集都最优。
g 只放大或缩小 A 的绝对值：当 A>0 时放大利于快速学习；当 A<0 时放大意味着更重的惩罚。若底层算法给出的优势本身有偏（例如组内全成功或全失败时 std 为 0，GRPO 的 Z-score 退化），EMPG 会把这个偏差同样放大。论文用 DAPO 的过滤采样应对此类批次，但 EMPG 自身不处理。
一句话：EMPG 的贡献是把「熵-梯度耦合」这条已有事实变成一个可插拔的加权器，而不是提供更精确的不确定性度量。它的收益大小，取决于底座留下多少可校准的失配。