LLM-RL · arXiv 2025

EDGE-GRPO：用熵重新加权优势，用参考答案更可能补足全错组

GRPO 的组内优势在“全对”或“全错”时一起变成 0，难样本因此被浪费。EDGE-GRPO 在响应层面按概率对错误回答做引导纠错，让组里更可能出现正例；在信号层面用样本级策略熵缩放优势，让“自信地错”罚得更重、“不自信地对”奖得更轻。Qwen2.5-Math-1.5B 只用 1K 样本，五基准平均从 25.71 升到 48.08。

Xingjian Zhang、Siwei Wen、Wenjun Wu、Lei Huang · 北京航空航天大学原文 ↗ 代码 ↗

TL;DR · 30 秒抓住核心

GRPO 用组内均值算优势。一个组 8 条回答如果全对或全错，奖励相同，优势全为 0，策略梯度也就为 0；难题上这种组很常见。论文的 Hard-1K 里约 80% 的问题在 8 次采样中全部答错。

EDGE-GRPO 分两层补信号。GEC 对每条错误回答按 0.5 / 0.25 / 0.25 的概率做“提示后重生成 / 提示并给答案 / 直接替换成参考解”，提高组里出现正例的概率；EDA 再把优势除以归一化熵：低熵（自信）放大优势绝对值，高熵（不确定）缩小。

Qwen2.5-Math-1.5B 上，Random-1K 平均 25.71→48.08；7B 上 29.04→49.30。Hard-1K 上 7B 从 47.69 到 53.21。

代价是训练数据要带参考答案：答案注入只需要最终答案，参考解替换才需要参考解；GEC 是“开卷”干预，EDA 的收益依赖组里先有非零优势。论文只验证数学推理，GEC 概率与熵缩放也没有敏感性实验。

48.08%

Qwen2.5-Math-1.5B 在 Random-1K 上的五基准平均；Base 为 25.71%

49.30%

Qwen2.5-Math-7B 在 Random-1K 上的平均；Base 为 29.04%

53.21%

7B 在 Hard-1K 上的平均；Vanilla GRPO 为 47.69%

全对或全错的组，优势一起归零

先看 GRPO 的失效点：优势是组内相对量，组内奖励没有差异时，整组都拿不到梯度。

GRPO 对每个问题采样 G 条回答，用规则 verifier 给每条回答一个奖励，再在组内标准化：

A_i = ( r_i − mean({r₁, …, r_G}) ) / std({r₁, …, r_G})

Eq. 2：GRPO 的组内优势；r_i 通常来自最终答案是否正确。

如果 8 条回答全对，r_i 全相等，分子为 0；全错也一样。于是按论文口径记为 A_i = 0（严格说 Eq. 2 为 0/0，实现通常加 epsilon），策略梯度没有信号。论文把这个现象叫 advantage collapse。它不是偶发：在 Hard-1K 里，约 80% 的问题在 8 次采样中全部答错，这些题恰好是模型最需要学习的题。

所以问题不是“奖励太稀疏”这么简单，而是组内没有对照：没有一条比组平均更好的回答，模型无法判断该往哪个方向更新。

让模型反思收效有限，按样本看熵又常常错配

已有两条路线：响应层面逼模型反思，信号层面把熵/内部反馈塞进优势。论文先各做了一组量化实验，说明两条都不够。

响应层面

反思回答的准确率反而更低

论文用 15 个反思关键词（check again、recheck、verify again 等）识别回答里是否出现自我反思。多数模型上，含反思的回答准确率明显低于整体；强制模型对错误答案反思，Figure 2 右下报告的准确率多数模型低于 5%。Table 5 按单个触发词统计，多数纠正率低于 10%，0.1 档最高为 11.059%（DeepSeek-R1-Distill-Qwen-7B，Hmm），全表最高为 0.6 档的 12.097%。DeepSeek-R1-Distill 系列相对更高，论文正文称最好的 DeepSeek-R1-Distill-Qwen-7B 也只有约 11%（Table 5、Appendix）。

信号层面

平均熵有方向，样本级却大量错配

论文定义 RCM = (Entropy_Correct − Entropy_Wrong) / Average Entropy。多数后训练模型的 RCM 为负（Table 3），说明正确回答平均更自信；但逐样本看，约一半错误回答的熵低于平均，近三分之一正确回答的熵高于平均（Figure 3 右）。

Table 3 / Table 5 未全文转录，仅引用定性结论 / 极值（SPEC §1.3-J）。

这两组观察决定了方法：既然模型自己反思很难产生正例，就从外部给答案或参考解；既然熵的 aggregate 方向对但样本级常错，就不能全局鼓励高熵或低熵，而要按每条回答的熵相对组均值来缩放它的优势。

模型（temperature=0.1）	平均准确率	含反思回答准确率	无反思回答准确率
Qwen2.5-Math-1.5B	25.71	10.00	26.01
Qwen2.5-Math-1.5B-Oat-Zero	47.37	17.86	47.91
Qwen2.5-Math-7B	29.04	13.51	29.42
Qwen2.5-Math-7B-SimpleRL	47.37	25.71	47.87
DeepSeek-R1-Distill-Qwen-7B	45.38	56.21	22.77

Table 4 的节选（temperature=0.1，5 个模型）；完整表还含 0.3/0.6/1.0 与另外 4 个模型。DeepSeek-R1-Distill 是反例：它的反思准确率高于自身平均，论文归因于高质量长 CoT 蒸馏数据。

GEC 让组里更可能出现正例，EDA 按熵放大或缩小优势

两个模块正交：GEC 改的是“组里有哪些回答”，EDA 改的是“已有优势值怎么缩放”。

响应层面：Guided Error Correction

对每条错误回答，GEC 按固定概率三选一：

P = 0.5

提示后重生成

追加一句反思提示（如 “Wait! Something is wrong here.”），让模型基于提示重新生成，保留自纠机会。

P = 0.25

提示并注入答案

在提示后把最终答案直接拼进这条回答（外部注入，不再生成）；回答的其余部分仍是模型生成，正确目标已写入。

P = 0.25

参考解替换

用外部参考解整体替换这条错误回答；改完之后，组里更可能出现正确样本。

关键点是 GEC 作用在每条错误回答上，而不是只在“整组全错”时启动。这样即使组里已经有一条正确回答，其余错误回答仍可能被纠正，组内正负样本的比例更高，优势更不容易塌成 0。

论文把“每个问题都有最终答案和参考解”列为整体数据条件；逐操作看，直接答案注入只需要最终答案，参考解替换才需要参考解，两者都没有时只能提示后重生成，正例不保证。GEC 是把外部监督注入 RL 组内，不是让模型凭空自纠。论文没有测试低质量或噪声参考解的影响。

信号层面：Entropy-Driven Advantage

对每条回答，先按 token 级策略分布算平均熵 P_i，再除以组内平均熵：

P̂_i = P_i / mean({P₁, …, P_G})
Â_i = A_i / P̂_i

Eq. 6–7：归一化熵 P̂_i 与熵驱动优势 Â_i。注意 Eq. 7 是除法，不是乘法。

P̂ < 1 表示这条回答比组内平均更自信；P̂ > 1 表示更不确定。除以 P̂ 后：

正确且自信（A > 0，P̂ < 1）：Â 变大，奖励被放大。
错误但自信（A < 0，P̂ < 1）：Â 更负，惩罚被放大。
正确但不自信（A > 0，P̂ > 1）：Â 变小，奖励被缩小，容忍探索。
错误但不自信（A < 0，P̂ > 1）：Â 的绝对值变小，惩罚被缩小。

注意 EDA 的前提是 A_i 已经非零。整组全对或全错时 A_i 按论文口径记为 0，除以任何 P̂ 仍是 0。GEC 对每条错误回答按概率处理：全错组是主要场景，GEC 能提高组里出现正例的概率；全对组没有错误回答可改，GEC 不执行任何操作，优势仍为 0。

初始优势 A_i 1.0

归一化熵 P̂_i 0.50

熵驱动优势

Â_i = A_i / P̂_i = 2.000

正确且自信：放大奖励

手算：四组参数与滑块输出逐位一致（三位小数）

1）A=1.0，P̂=0.5：Â = 1.0 / 0.5 = 2.000（正确且自信，奖励放大）。

2）A=−1.0，P̂=0.5：Â = −1.0 / 0.5 = −2.000（错误但自信，惩罚放大）。

3）A=1.0，P̂=1.5：Â = 1.0 / 1.5 = 0.667（正确但不自信，奖励缩小）。

4）A=−1.0，P̂=1.5：Â = −1.0 / 1.5 = −0.667（错误但不自信，惩罚缩小）。

滑块范围 A∈[−2,2]、P̂∈[0.5,2.0]；A=0 时输出恒为 0，EDA 无法救回全对/全错组（GEC 只处理错误回答，全对组仍为 0）。

1K 样本、8 张 A100、一个 epoch：便宜在数据，不便宜在参考答案

论文没有报告 GPU 小时或 token 成本；能确认的是训练配置、数据规模和 GEC 对数据的额外要求。

训练在 8 张 NVIDIA A100-40G 上进行，每个问题采样 8 条回答，每条最多 1024 token；只训练 1 个 epoch，学习率 1e-6，并去掉了 KL 约束（§Implementation Details、Appendix）。训练集是从 DeepScaleR 过滤后随机抽的 1K 条 DeepScaleR-Random-1K；另外用 Qwen2.5-Math-7B 筛出 8 次采样准确率最低的 1K 条，构成 DeepScaleR-Hard-1K。

数据

1K 条训练样本，1 个 epoch；对比模型使用 5.7K–800K 条（Table 6 的 #Train 列）。

硬件

8×A100-40G；论文没有给出 GPU 小时、训练时长或显存峰值。

GEC 成本

错误回答按概率触发一次重生成、答案注入或参考解替换；论文没有量化额外 token/时间，也没有 GEC 概率的敏感性实验。

GEC 的数据条件值得单独看：直接答案注入只需要最终答案；参考解替换才需要参考解；两者都没有时只能提示后重生成，正例不保证。论文把“每个问题都有最终答案与参考解”列为整体数据前提，这把数据门槛从“答案可验证”提高到“过程可参考”；论文没有测试低质量或噪声参考解。

另一个工程细节是 std 分母。GRPO 的 Eq. 2 在组内奖励全相等时会出现 0/0；论文没有展开实现里的 epsilon 处理，页面不对 0/0 的数值结果做推断。论文的口径是：全同奖励组为 zero advantage；后续 EDA 对 A = 0 也除不出信号。

先补组内正例，再重加权，最后才更新

把两个模块放回一次 GRPO 迭代：采样 → 奖励 → GEC → 重新算奖励与优势 → EDA → 策略更新。

图：EDGE-GRPO 的一次迭代示意。覆盖 §Response-level: Guided Error Correction (GEC) 的三选一概率与 §Signal-level: Entropy-Driven Advantage (EDA) 的 Eq. 6–7；不覆盖 TRL 的具体 batch 组织、clip 实现与分布式采样细节。

Step 1–2

采样与奖励

每个问题采样 8 条回答，规则 verifier 只给最终答案对错。全部同奖时组内分子为 0；其中有错误回答（全错组）时 GEC 会对每条错误回答按概率处理，全对组没有错误回答可改，GEC 不执行任何操作。

Step 3–4

GEC 与重算

对每条错误回答按 0.5/0.25/0.25 触发三种干预；参考解替换会直接写入正确解，提示并注入答案则把最终答案直接拼进回答，两者都让组里更可能出现正例；重生成则给模型一次自纠机会。之后重新算奖励与优势。

Step 5

EDA 缩放

用 Eq. 3–4 算每条回答的平均策略熵，除以组均值得到 P̂，再用 Â = A / P̂ 放大或缩小优势。

Step 6

更新

把 Â 放进 GRPO/PPO 的 clip 目标，更新 actor。论文去掉了 KL 项，理由是训练分布可能显著偏离初始模型。

1K 样本把 1.5B 从 25.71 拉到 48.08，7B 在 Hard-1K 到 53.21

先看两张主表：Random-1K 与 Hard-1K；再看与开源模型的对比，以及原文表间的一处数值并列。

Table 1 · Random-1K：两个模型、六个方法

模型 / 方法	Avg (1560)	AIME (30)	AMC (83)	MATH (500)	Minerva (272)	Olympiad (675)
Qwen2.5-Math-1.5B
Base	25.71	6.67	37.35	34.60	12.13	24.00
SFT	30.13	10.00	30.12	47.20	14.71	24.59
Vanilla GRPO	40.32	13.33	39.76	65.60	19.49	31.26
+ Force-R	42.63	10.00	36.14	71.40	21.69	32.00
+ Force-R & EDA	45.83	10.00	37.35	73.60	23.90	36.74
EDGE-GRPO	48.08	13.33	44.58	76.40	28.68	36.89
Qwen2.5-Math-7B
Base	29.04	10.00	37.35	53.40	10.66	18.22
SFT	41.99	6.67	43.37	69.00	22.06	31.41
Vanilla GRPO	46.47	23.33	55.42	72.40	27.94	34.67
+ Force-R	47.76	23.33	53.01	74.60	23.16	38.22
+ Force-R & EDA	45.71	23.33	49.40	67.00	32.35	35.85
EDGE-GRPO	49.30	16.67	50.60	75.60	33.09	37.04

Table 1：DeepScaleR-Random-1K，训练 1 epoch；Pass@1（temperature=0.1）；Avg 是按题目数加权（总答对数 / 1560），不是五个基准准确率的简单平均。

Table 2 · Hard-1K：7B 的提升在 Hard-1K 进一步放大

模型 / 方法	Avg (1560)	AIME (30)	AMC (83)	MATH (500)	Minerva (272)	Olympiad (675)
Qwen2.5-Math-1.5B
SFT	29.17	6.67	28.92	46.40	12.87	24.00
Vanilla GRPO	40.26	10.00	46.99	65.00	20.59	30.37
+ Force-R	41.55	13.33	31.33	70.00	22.06	30.81
+ Force-R & EDA	42.44	10.00	34.94	69.60	23.53	32.30
EDGE-GRPO	47.24	10.00	44.58	73.20	29.04	37.33
Qwen2.5-Math-7B
SFT	37.37	3.33	44.58	68.00	19.85	22.37
Vanilla GRPO	47.69	26.67	53.01	74.20	25.74	37.19
+ Force-R	40.26	13.33	40.96	67.60	19.85	29.33
+ Force-R & EDA	45.19	26.67	50.60	68.00	28.68	35.11
EDGE-GRPO	53.21	16.67	53.01	79.00	36.03	42.67

Table 2：DeepScaleR-Hard-1K，Pass@1，temperature=0.1；Hard-1K 中约 80% 的问题在 8 次采样中全部答错（§Experimental Setup）。

先看相对 Base 的提升：1.5B 是 48.08 − 25.71 = 22.37 个百分点，相对 87.0%；7B 是 49.30 − 29.04 = 20.26 个百分点，相对 69.8%。相对 Vanilla GRPO，1.5B 提升 7.76 个百分点（相对 19.2%），7B 提升 2.83 个百分点（相对 6.1%）；Hard-1K 上分别是 6.98 个百分点（相对 17.3%）与 5.52 个百分点（相对 11.6%）。

消融里有两个值得注意的反例。第一，Table 2 里 7B 的 + Force-R 只有 40.26，比 Vanilla GRPO 的 47.69 低 7.43 个百分点，方向与 7B Random-1K 相反（47.76 对 46.47）；论文没有单独解释这一下降。第二，在 Force-R 基础上再加 EDA（+ Force-R & EDA）对 7B 的两个设置都低于 Vanilla GRPO（Random 45.71 对 46.47；Hard 45.19 对 47.69），但相对 + Force-R 在 1.5B Random（45.83 对 42.63）、1.5B Hard（42.44 对 41.55）与 7B Hard（45.19 对 40.26）三处更高，只在 7B Random 下降（45.71 对 47.76）。从表看，+Force-R&EDA 在 3/4 设置高于 +Force-R 推断（依据：Table 1 与 Table 2 的 Avg 逐项比较）；论文的解释是：EDA 对全零优势组无效，GEC 提高非零优势组的比例。+Force-R&EDA 在四个设置中仍都低于完整 EDGE-GRPO。

Table 6 · 与开源模型对比：1K 样本接近 5.7K–800K 训练的模型

模型	#Train	Avg (1560)	AIME	AMC	MATH	Minerva	Olympiad
Qwen2.5-Math-1.5B Base	—	25.71	6.67	37.35	34.60	12.13	24.00
DeepSeek-Distill-1.5B	800K	33.53	6.67	27.71	61.00	13.60	23.11
Oat-Zero-1.5B	8.5K	47.37	20.00	48.19	75.00	25.74	36.74
Qwen2.5-Math-7B Base	—	29.04	10.00	37.35	53.40	10.66	18.22
DeepSeek-Distill-7B	800K	45.39	16.67	36.14	74.20	29.41	32.89
Oat-Zero-7B	8.5K	53.40	36.67	61.45	79.80	30.88	42.67
SimpleRL-Zoo-7B	8K	47.37	23.33	53.01	76.00	24.26	35.85
Eurus-7B*	48.4K	53.9	26.7	57.8	79.2	38.6	42.1
OpenReasoner-Zero-7B	5.7K	51.99	20.00	40.96	80.20	29.41	42.96
EDGE-GRPO-1.5B	1K	48.08	13.33	44.58	76.40	28.68	36.89
EDGE-GRPO-7B	1K	53.01	16.67	49.40	79.00	36.03	42.67

Table 6：与开源模型的 Pass@1 对比，temperature=0.1；* 表示数据来自原论文，其余为论文自己评测。#Train 为训练样本数；Avg (1560) 为总答对数 / 1560。强调色只表示 EDGE-GRPO（论文方法），不表示该列为全表最高。

数据效率的对比很直接：EDGE-GRPO-1.5B 用 1K 样本达到 48.08，高于 Oat-Zero-1.5B 的 47.37，差 0.71 个百分点；EDGE-GRPO-7B 的 53.01 比 Oat-Zero-7B 的 53.40 低 0.39 个百分点、比 Eurus-7B 的 53.9 低 0.89 个百分点。论文的“comparable”是合理描述，不是全面超过。

表间并列

Table 2 的 53.21 与 Table 6 的 53.01 不是同一个数

Table 2（Hard-1K）7B EDGE-GRPO 的 Avg 是 53.21；Table 6 的 EDGE-GRPO-7B 写 53.01，差 0.20 个百分点。Table 6 的 EDGE-GRPO-1.5B 行 48.08 与 Table 1 Random-1K 行数值完全相同，但 7B 行既不等于 Table 1 的 49.30（差 3.71 个百分点），也不同于 Table 2 的 53.21（差 0.20 个百分点）。Table 6 没有注明这两行各自对应哪个训练集；页面并列两处，不替原文选一个。

当前读数

SFT

30.13

GRPO

40.32

+Force-R

42.63

+Force-R&EDA

45.83

EDGE-GRPO

48.08

EDGE-GRPO（完整方法）对照变体柱高按当前视图、当前指标内最大值归一；数值逐字取自 Table 1/Table 2

手算：图表归一化两个视图各一组，与柱高逐位一致

1.5B · Random-1K · Avg：该视图最大值是 EDGE-GRPO 48.08，所以 EDGE-GRPO 柱高 = round(48.08 / 48.08 × 1000) / 10 = 100.0%；GRPO = round(40.32 / 48.08 × 1000) / 10 = 83.9%。

7B · Hard-1K · Avg：最大值是 EDGE-GRPO 53.21，所以 EDGE-GRPO 柱高 = round(53.21 / 53.21 × 1000) / 10 = 100.0%；GRPO = round(47.69 / 53.21 × 1000) / 10 = 89.6%。

柱高最低 1.2%，避免 0 值柱不可见；当前表内最小值不会触发。

它更可能把“全错组”变成可学信号，但只在有参考答案的数学题上验证

边界有三层：数据要带最终答案或参考解、GEC 是外部监督、评测只覆盖数学推理；此外超参数敏感性没有展开。

数据门槛

答案注入要答案，参考解替换要过程

GEC 的“答案注入”需要最终答案；“参考解替换”才需要参考解；两者都没有时只能提示后重生成，正例不保证。论文在过滤 DeepScaleR 时要求答案位于 \boxed{} 且带 solution；论文没有测试低质量或噪声参考解的影响。

外部监督

GEC 把参考答案放进训练组

这不是模型自己纠错，而是把外部正确解按概率注入。论文的消融显示它有效，但也意味着性能提升部分来自“开卷”信号；GEC 与纯 RL 的贡献比例，论文没有拆分。

评测范围是五个数学基准：AIME24、AMC、MATH500、Minerva、OlympiadBench，共 1560 题；没有代码、科学问答、开放对话或多模态。论文只在五个数学基准上评测，未讨论其他领域，页面不把“数学上有效”扩成“通用有效”。

超参数方面，GEC 的三个概率（0.5/0.25/0.25）与熵缩放都没有敏感性实验；EDA 的熵是 token 级策略熵，论文没有比较语义熵、序列熵等替代信号。训练还去掉了 KL 约束，作者称这是沿用已有工作的做法，但没有给出有无 KL 的对照。

最后一个边界是 EDA 的适用条件：它只能重加权非零优势。全错组可由 GEC 提高出现正例的概率；全对组没有错误回答可改，GEC 不执行任何操作，A 仍为 0，除以 P̂ 仍是 0。页面把这条写成机制约束，而不是“EDA 单独解决优势坍塌”。