GRPO 在组内把末端奖励归一化后，平均贴到一条回答的每个 token；一条长度到 4,096 token 的正确回答里，关键决策 token 和普通连接词拿到同样的优势。GTPO / GRPO-S 用策略熵重新分配奖励：成功序列里高熵 token 拿更多正奖励，失败序列里低熵 token 拿更重的惩罚。Qwen2.5-7B 的 AIME 2024 Pass@32 从 DAPO 的 35.51 提到 GTPO 的 64.89，32B 上则是 59.02 到 68.91。
论文把「信用分配」拆成一个奖励设计问题：GRPO/DAPO 的优化器可以不同，但同一条序列里所有 token 共享一个优势 Âi；GTPO 则给每个 token 单独的 r̃i,t，再用批内归一化得到 token 级优势。权重来自同一步不同成功序列之间的相对熵：Hi,t / ΣkHk,t。GRPO-S 把同样的权重换成序列平均熵 Ĥi，计算更省，论文称其长 CoT 稳定性更好。
实验只在数学推理上做：AIME 2024、AIME 2025、MATH500，模型是 Qwen2.5-7B 与 32B，基线是 GRPO、DAPO、DAPO w/ Forking Tokens。Table 1 的 14 个「模型 × 指标」单元格里，GTPO 与 GRPO-S 都高于三个基线；两者之间 GTPO 赢 9 格、GRPO-S 赢 5 格，绝对差多在 0.1–3.7 分。MATH500 上提升很小（+1.45 到 +1.63），真正的差距集中在 AIME。
边界也要一起看：所有结论只覆盖数学基准与 Qwen2.5-7B/32B；Table 1 是单次结果，没有随机种子、方差或置信区间；GTPO 的 token 级熵计算与 GRPO-S 的序列级开销差异也没有量化。页面把「表格能复算的数字」与「作者的稳定性观察」分开标注。
读完这节你应该知道：为什么「末端 0/1 + 组内归一化」在长链推理里不够用。
GRPO 对同一个 prompt 采样 G 条回答，每条拿一个末端奖励 ri ∈ {0,1}，然后把这个奖励在组内标准化，得到一个标量优势 Âi，再贴到该序列的每个 token 上。对一条 4,096 token 的回答，第 1 个 token 和第 2,000 个 token 的优势完全相同；如果答案错了，整条序列一起被惩罚，哪怕中间大部分推理是对的。
论文进一步指出一个统计问题：当各条回答长度不等时，组内平均奖励有两种算法——按序列平均 R̂1 = (1/G)Σri，或按 token 平均 R̂2 = Σ|oi|ri / Σ|oi|。附录 B.1 证明 token 级平均的方差更小，而 GRPO 用的是序列级平均；这会让正确回答里的每个 token 都拿到同样的正优势，序列越长，累积的正奖励质量越大——论文把它概括为「the longer, the better」的隐含偏置。GTPO 的出发点就是把奖励信号从「每条序列一个数」改成「每个 token 一个数」。
同一条回答内所有 token 共享 Âi，无法区分关键决策与普通连接词。§2.1
序列级平均让长回答的每个 token 拿到同样的正优势，累积奖励质量随长度增长，论文据此论证 token 级基线的方差更小。§2.1
低熵 token 往往是「自信地算错」的位置；整条序列同罚，无法把惩罚集中到这些位置。§2.2
读完这节你应该知道：PPO、GRPO、DAPO、DAPO w/ Forking Tokens 与 GTPO 的差别分别在哪一层。
PPO 需要 critic 估计基线；GRPO 用组内奖励均值/方差代替 critic§2.1；DAPO 在损失层把 token 平均改为批次级单次平均Appendix A.3，并把错误答案的奖励从 0 改为 −1§2.4。三者都没有改变「同一条序列内所有 token 共享同一个优势」这一设定。
§2.1
Forking Tokens 直接丢弃低熵 token，只在高熵位置保留梯度。这是「保留/丢弃」的二值选择；论文认为它会丢掉分布中其余部分的学习信号，而 GTPO 用连续的熵权重重新分配奖励。
§3.2
论文还引用了「熵作为探索正则」的一类工作：把熵加进损失，鼓励策略保持随机性。GTPO 的不同点是把熵放进奖励本身——熵项不参与梯度回传，只改变奖励地形，因此它塑造的是「哪些 token 值得奖励」，而不是「让策略整体更随机」。§1
读完这节你应该知道：GTPO 与 GRPO-S 的奖励公式、优势归一化，以及论文声称的理论性质。
对成功序列 oi ∈ O+ 中的 token oi,t，奖励定义为：
Hi,t 是该 token 在旧策略下的生成熵，分母是同一时间步所有成功序列的熵之和；dt 是长度至少到 t 的成功序列数，用来抵消「越往后活跃路径越少」的缩放。若某条成功序列长度小于 t，它的 Hk,t 按 0 计。失败序列的 token 则用逆熵：
式中 ht 是长度至少到 t 的失败序列数；失败序列长度小于 t 时，其 1/Hj,t 按 0 计。直觉是：失败序列里熵越低（越自信）的 token，惩罚越重；成功序列里熵越高（越犹豫/探索）的 token，奖励越多。两组 token 分别做批内标准化，得到 Ã+i,t 和 Ã−j,t，再进入 PPO 式裁剪损失§2.2。熵本身不回传梯度，只作为奖励权重§2.4（Remark 2.5）。
真实训练里 H 是 ΣH 的一项，所以 H/ΣH ≤ 1；这里两个滑块独立取值，只为观察公式的线性关系。
参数 A：H = 0.8，ΣH = 2.4
1.267。0.333（未舍入 0.333333），r̃ 显示 1.267。参数 B：H = 1.2，ΣH = 3.0
1.320。0.400（未舍入 0.400000），r̃ 显示 1.320。脚本先用未舍入的比值算 r̃，再按三位小数显示；两组的显示值都与上式逐位对齐。
GRPO-S 先算一条序列的平均熵 Ĥi = (1/|oi|)ΣHi,t，再用同样的相对权重给整条序列一个奖励：成功序列 r̂+i = β1ri + β2·Ĥi/ΣĤk·n，失败序列用平均逆熵惩罚。优势仍在序列级归一化，损失结构与 GRPO 相同，只是奖励换成了「熵加权后的序列奖励」。论文称它计算更省§2.3，并在长 CoT 上更稳定Abstract。
命题 2.2 说：当 α1+α2=1 时，每个时间步成功序列的正奖励总量保持不变——熵权重只是在成功路径之间重新分配，不改变总奖励质量。命题 2.3 说：在「熵合并条件」下（训练后期不同成功序列在同一位置的熵趋于相同），GTPO 与 GRPO 的梯度差渐近为零；定理 2.4 由此推出 GTPO 与 DAPO 共享同一个全局最优。论文自己也注明：实验里 α1+α2 只是接近 1，并未严格相等；理论结论依赖渐近条件。§2.4
读完这节你应该知道：这套奖励塑形需要哪些超参，以及哪些设置论文没有交代。
AIME 2024、AIME 2025、MATH500；主指标是 Pass@k（k ∈ {2,4,8,16,32}）与 Mean@32。论文用 APG（绝对提升）和 RPG（相对提升）描述增益；所有实验在 Qwen2.5-7B 与 Qwen2.5-32B 上做。§3.1
全局 batch 128，组大小 16，学习率 1×10−6；生成 temperature 1.0、top-p 1.0；prompt 最大长度 2,048，response 最大长度 4,096。奖励塑形超参 α1=β1=1、α2=β2=0.1，熵裁剪到 [0.2, 0.28]；另加 Appendix D 的 Group Relative Overlong Punishment 控制长度。§3.1
论文只报告在 210 步内基本收敛，未给总训练步数、GPU 小时、显存占用或每次迭代的额外开销§3.3；硬件只说「64 GPUs」§3.1。这一点对复现很关键：GTPO 需要为每个 token 计算并存储熵，GRPO-S 只需要序列平均熵，两者的实际成本差异没有量化。附录 C 讨论了几何平均版本的替代定义Appendix C，附录 D 给出长度惩罚的完整分段函数Appendix D，两者都没有进入主实验的超参表。
读完这节你应该知道：GTPO 与 GRPO-S 在流程中的分叉点，以及熵在哪一步被用到。
读完这节你应该知道：提升集中在哪、GTPO 与 GRPO-S 谁更稳，以及论文「小模型收益更大」的参照系。
| 模型 / 方法 | AIME24 Mean@32 | AIME24 Pass@4 | AIME24 Pass@32 | AIME25 Mean@32 | AIME25 Pass@4 | AIME25 Pass@32 | MATH500 Mean@32 |
|---|---|---|---|---|---|---|---|
| Qwen2.5-7B | |||||||
| GRPO | 28.36 | 36.15 | 46.01 | 15.00 | 19.03 | 20.00 | 78.62 |
| DAPO | 21.2 | 30.04 | 35.51 | 13.33 | 16.28 | 16.67 | 78.85 |
| DAPO w/ Forking Tokens | 30.77 | 41.34 | 54.16 | 15.21 | 19.82 | 21.67 | 79.25 |
| GTPO | 34.23 | 48.03 | 64.89 | 16.67 | 25.51 | 26.67 | 80.16 |
| GRPO-S | 34.67 | 47.18 | 64.76 | 18.33 | 22.76 | 23.33 | 80.07 |
| Qwen2.5-32B | |||||||
| GRPO | 29.17 | 37.18 | 46.30 | 17.71 | 25.95 | 28.85 | 84.16 |
| DAPO | 34.06 | 46.64 | 59.02 | 21.67 | 25.76 | 26.67 | 84.45 |
| DAPO w/ Forking Tokens | 34.68 | 47.81 | 64.12 | 23.19 | 27.99 | 32.02 | 85.21 |
| GTPO | 35.21 | 49.41 | 68.91 | 26.89 | 33.49 | 36.67 | 85.72 |
| GRPO-S | 35.52 | 51.12 | 67.19 | 25.11 | 29.75 | 34.33 | 85.79 |
底色 = 该模型该列 5 个方法中的最高值；GTPO/GRPO-S 不再整行高亮。
四行分别是 AIME24 Mean@32、AIME24 Pass@32、AIME25 Mean@32、AIME25 Pass@32；柱高按固定上限 90 满格，数值保留两位小数。
两个方法都赢，但赢法不同。14 个「模型 × 指标」单元格里，GTPO 与 GRPO-S 都高于 GRPO、DAPO、DAPO w/ Forking Tokens。两者互比时 GTPO 赢 9 格、GRPO-S 赢 5 格：GTPO 在 7B 的 AIME24 Pass@4（48.03 vs 47.18）与 AIME25 Pass@4（25.51 vs 22.76）更高，GRPO-S 在 7B 的 AIME25 Mean@32（18.33 vs 16.67）和 32B 的 AIME24 Mean@32（35.52 vs 35.21）略高。差距多数在 1–4 分，没有出现一个方法在全部单元格上压制另一个。
小模型收益更大，但这个结论依赖参照系。论文用 Pass@32 相对 DAPO 的 APG 说：7B 的 +29.4 点远大于 32B 的 +9.9 点。这组数字本身可从 Table 1 复算：64.89 − 35.51 = 29.38、68.91 − 59.02 = 9.89。但若把参照换成 GRPO，方向就反过来：7B 是 64.89 − 46.01 = 18.88，32B 是 68.91 − 46.30 = 22.61，32B 反而更大。推断（依据：Table 1 同一列的三组数值；论文正文只报告了相对 DAPO 的 APG）。
MATH500 接近天花板。7B 上 GTPO 比 GRPO 高 1.54 分（80.16 − 78.62），GRPO-S 高 1.45 分；32B 上 GTPO 高 1.56 分（85.72 − 84.16），GRPO-S 高 1.63 分（85.79 − 84.16）。论文摘要称 MATH500 与 AIME 并列达到「new state-of-the-art」，但从表格看，MATH500 的绝对提升远小于 AIME；真正的差异在 AIME 2024/2025 的 Pass@4 与 Pass@32。
GRPO-S 的稳定性是作者的观察，不是表格结论。7B 的 AIME25 Mean@32：GRPO-S 18.33 高于 GTPO 16.67；32B 的 AIME24 Mean@32：GRPO-S 35.52 高于 GTPO 35.21。论文在 §3.4 说 GRPO-S 在超参扫描中更稳，但 Table 1 只给单次结果，没有方差或置信区间，无法从表格验证「更稳」；页面只把它当作作者的实验观察。
读完这节你应该知道：哪些结论有表格支撑，哪些只是作者的解释或尚未验证的推断。
AIME 2024、AIME 2025、MATH500 都是数学竞赛题；代码、科学推理、长文写作、工具调用都没有测。跨域是否仍成立，论文没有回答。§3.1
7B 与 32B 同属一个模型家族；不同架构、不同预训练数据、或更小/更大的模型上没有实验。§3.1
Table 1 只给单次结果，没有报告随机种子、标准差或置信区间；GTPO 与 GRPO-S 之间 0.1–3.7 分的差距是否稳定，无法从表格判断。推断（依据：全文未检索到 seed / standard deviation / error bar 的实验报告）。
还有三点。第一，熵是「认知不确定性」的代理，但词表多样性也会抬高熵；一个模板化的客套句可能比关键定理选择更高熵，论文在 §4 把「哪种相对熵定义最好」列为开放问题，没有给出判别方法。第二，理论保证依赖 α1+α2=1 与「熵合并条件」；实验只让两者接近 1，且渐近条件在有限步训练里是否成立没有验证。第三，超参敏感性只在 Figure 5 里扫了三组配置（α2=β2 从 0.1 到 0.2 等）Figure 5；论文 §3.4 说 β2 从 0.1 增到 0.2 会让 GRPO-S 整体下降§3.4。这只能说明「熵奖励不能太大」，不足以给出调参指南。
最后是成本：GTPO 要为每个 token 计算并存储熵，GRPO-S 只需序列平均熵；论文没有报告训练时长、显存或吞吐的差异，也没有与 DAPO w/ Forking Tokens 的掩码成本对比。对工程落地来说，「多花多少算力换这约 1–29 分（Table 1 的绝对差区间）」仍是空白。