TTRL 靠多数投票造伪标签，但需要几十到上百条并行 rollout，而且早期共识往往错、模型还对它过度自信。 这篇论文用两个熵机制对症下药：ETMR 只在高熵 token 处分叉、复用低熵前缀省 token；EAR 按回复级相对熵缩放优势，压住早期的高熵「蒙对」样本。
TTRL 的两个痛点其实是同一个东西的两面：可靠性来自更多 rollout，但 rollout 越多越贵；伪标签越早越不靠谱，可 GRPO 的组内归一化恰恰把早期少数「幸运样本」的优势放大到最大。
ETMR 把并行采样换成一棵熵分叉树：高熵 token 处放 B 个分支，低熵前缀所有分支共享。按均匀分布假设，token 消耗比简化为 (1 + 0.5·B·N) / (1 + B·N)，N=2、B=2 时正好是 60%，叶子数 M(1+B·N)=12×5=60 条。
EAR 进一步区分「蒙对的」和「真会的」：回复平均熵高于组内平均的，优势乘 γ<1；低于平均的略微放大。γ 对称裁剪在 [0.8, 1.2]，比直接裁剪优势的 Adv-Clip 更稳。
先看懂 TTRL 的训练回路，才能明白为什么省 token 和防过自信必须一起解决。
测试时强化学习（TTRL）面对一个无标签的问题 q：让策略采样 N 条回复，抽取答案，取众数当作伪标签 y*，答案等于 y* 的回复给奖励 1，其余给 0，然后就地跑一轮 GRPO。
y* 本身是模型自己投票投出来的问题从这个回路里长出来，论文把它们并列为两条：
这两条为什么纠缠在一起？因为它们共用同一个「票数少」的起点。票数少 → 伪标签不准 → 早期只有极少数回复拿到正奖励 → GRPO 组内归一化把这几条「幸运样本」的优势推得特别大。论文 Figure 3 在 AIME 上记录了这个进程：多数比例从约 10% 爬到 70%，而正的组内相对优势随之下降。换句话说，模型最不靠谱的时候，恰好被推得最狠。
论文的 related work 把无监督奖励估计分成「软」「硬」两派，并对加熵正则的传统办法保持保留。
RENT、EM-RL 直接拿负的回复熵当稠密奖励（Eq. 6）。
卡点：把「信心」当「正确」；奖励还受基础模型归纳偏置和校准程度影响，熵低的错答案同样被鼓励。
TTRL 用并行采样 + 众数投票造伪标签，对标签噪声有一定容忍度。
卡点：可靠性靠 rollout 数量堆出来，token 直接线性增长；且不处理早期优势被放大的问题。
PPO、SAC 式的熵项，以及 Cheng 等人的熵增优势项。
卡点：论文引用 Cui 等人的结论：系数难调，加到 LLM 上可能无效甚至熵爆炸；加在优势里也有量纲不一致的问题。
论文自己的 takeaways 把这个格局总结为一句话：软、硬两派「从机制上都没有在利用和探索之间取得有效平衡」。还有一个现成的对照——Adv-Clip：直接把 GRPO 的优势裁到 [−β, β]（论文实验取 β=2）。它能压住极端更新，但「不利用每个回复可靠性的细粒度信息」，这正是 EAR 要补的空。
两段都可以手算。先看 ETMR 为什么 60% 的 token 能换回同样多的 rollout 叶子。
观察是：推理轨迹里有大量逐字重复，真正影响结果的是少数高熵 token——通常是连词、转折词（论文举例 “but”“however”）。低熵 token 换个分支也几乎一样，复用它不损失多样性。ETMR 沿用 TreeRL 的 token 级决策步：先生在一条树上生成整条回复，再用 H(yt) = −log π(yt) 挑出熵最高的 N 个 token 作为分叉点，每个分叉点再采样 B 条分支，所有分支走到叶子，最后把叶子答案拿去投票。
按论文的均匀假设，N 个分叉点落在 xk = k/(N+1)（k=1…N），第 k 叉之后还剩 1 − k/(N+1) 的回复。求和 Σ (1 − k/(N+1)) = N/2，于是相对并行采样的 token 比从 1 压到 (1 + 0.5·B·N) / (1 + B·N)：每多一个分叉点，只多付「分支数 × 剩余长度」的一半左右。
Eq. 11 下面写的是「N = 3, B = 2 时只需 60% 的 token」；(1+3)/(1+6) = 4/7 ≈ 57.1%，接近但不等。而第 4 节的实测配置是 M=12、N=2、B=2，叶子 12×(1+4)=60 条，对照 TTRL 的 64 条，(1+2)/(1+4) = 正好 60%，这个数对得上。两处说法不一致，以实验配置为准。
N=2、B=2。分子 1 + 0.5·2·2 = 3，分母 1 + 2·2 = 5，比例 3/5 = 60%。对应到分叉位置：第 1 叉在 1/3 处，每个分支还剩 2/3；第 2 叉在 2/3 处，每个分支还剩 1/3；两项剩余长度之和为 1，即 N/2。
Eq. 11 相对 Eq. 10 少掉的是「第二叉长在第一叉分支上、自身又分出 B 条」这层结构，所以它是一个近似值。论文没有报告树上前缀的真实复用率，60% 是公式值而不是测量值；第 07 节提到的「墙上时间达不到理论值」也说明理论节省不等于实测节省。
第二个机制作用在奖励侧。把每条回复的平均 token 熵（Eq. 5）和组内平均比一比，得到缩放系数 γ，再乘到 GRPO 优势上。它用的不是绝对熵，而是相对熵：论文 5.2 节说先用绝对熵，发现有量纲不一致、超参难调，才换成相对值。
注意它的方向和「熵越低越好」的直觉正好相反一半：高熵样本被压（它们更可能是蒙对的），低熵样本被放（模型真的会），但只放一点点，靠 α 截断。下面可以拖动熵分布，看每一档的 γ 和最终乘数。
组内平均熵 = (0.4+0.6+0.7+0.5)/4 = 0.55。γ = 1 + (0.55 − H)/0.55：
1.20，优势放大 20%0.80，优势只剩 80%四个熵全相等时，所有人的 γ 都是 1，EAR 退化为空操作——它只区分组内的相对高低，不改变整体尺度。
ETTRL 不改算法骨架，改的是「rollout 怎么长」和「优势怎么算」这两处。
ETMR 的工程代价藏在结构里：并行采样能吃满 GPU 批处理，树状 rollout 却是流水线式的分支——一部分分支在等另一部分先吐 token。论文 6 节承认，现有 RL 框架（Verl）没有原生支持这种混合执行模式，理论省下的 token 没有等比例变成墙上时间，扩展 Verl 的调度原语留作未来工作。
对应论文 Figure 1：采样 → 投票 → 优势 → 重塑 → 策略更新，两个熵机制分别插在首尾。
为什么第二个机制能起作用，论文的解释是消融式的。对 ETMR，论文 §5.1 的口径是「相对容易的数据集，较难的数据集（如 AIME）上相对增益更大」，并归因于高熵处分叉带来更强的探索、让伪标签更准；但增益要参照基线水平来读：AIME 上基线普遍只有 7.9–15.8，Llama-3.1-8B 10.0→16.9 才显得大，而 MATH-500 上基线已在 63–73，同样的分叉换不来更准的伪标签，Adv-Res 在 Llama-3.1-8B 的 MATH-500 上也从 63.7 退到 61.3（↓3.8%），说明这一档本来就难涨——ETMR 在该行跌到 59.5。所以「难题涨得多」在表格里的确定性表述是「AIME 的相对增幅最大」，不涵盖 MATH-500 的退步。EAR 的增益则在「非数学、小模型」上更大，因为它们的内在不确定性更高，更容易被高熵的幸运样本带偏。两个机制在各自擅长的模型上增益最大，这就是「同一份熵、两种用法」的经验证据。
三张表、三个模型，全部 Pass@1（贪心解码）。每个组件单独替换 TTRL 的一个环节。
Δ 相对 =（新值 − TTRL 基线）/ 基线，保留 1 位小数、四舍五入，本页按表中绝对数逐格复算。原文 Table 2 有两处与复算不符：Qwen2.5-Base-3B 的 AMC 写 ↑3.2%（40.7→41.4 实为 ↑1.7%），Llama-3.1-8B 的 MATH-500 写 ↓0.8%（63.7→61.3 实为 ↓3.8%）；其余 22 格一致。Table 1 的 24 格全部一致。
几处值得注意的地方：
论文在 Limitation 和讨论里自己点了几条，其余可以从表格里读出来。
ETMR 的 token 减少是理论值；树状 rollout 是流水线式的，并行采样则能吃满 batch。Verl 缺原生混合调度支持，所以实际加速有限。此外，ETMR 对温度很敏感，过高会训练崩塌；相对熵系数和裁剪上界在论文中也都随数据集、模型而变，作者没有做系统搜索。
Table 1 里 MATH-500 的两处负增益说明：当模型本来就有较高准确率、多数样本路径相似时，刻意在低熵处旧有路径上分叉并没有提供额外多样性，反而稀释了 vote-then-sample 的样本量。ETMR 适配的是「模型自己都拿不准」的难题。
ETMR 提高伪标签准确率、EAR 降低对不可靠标签的学习速度，但二者都没有引入外部验证器或打破共识。当模型的整体分布系统性偏移（所有路径一起错），投票依然会给出一致的错误标签——论文没有针对「集体性错误」的机制。
三个基准（AIME 2024、AMC、MATH-500）都要求答案可抽取、可比较多；投票机制在开放式写作、代码这类答案空间连续或不唯一的任务上难以直接使用。另外，本文所有增益都是在 1.5B–8B 范围内测得的，更大模型上熵的分布和校准方式可能不同。
| 分叉点 N | 每叉分支 B | 叶子数 M(1+BN), M=12 | Eq. 11 比例 | 读法 |
|---|
点是原文给出的配置，选中后一行高亮：N 越大、B 越大，共享的前缀越多，比例越低；B=1 时不产生真正的分叉，比例恒为 1。