[!info] TL;DR 核心思想：GRPO 训出问题先分类——策略坍塌（policy collapse，算法层：GRPO 目标函数的内在倾向，什么都没做错也会往那个方向走）和训练崩溃（training crash，工程层：两侧概率不一致、loss mask 写错、bf16 精度不够，是 bug 不是超参问题）是两种病，排查路径完全不同，混着查等于两边都查不干净。 最大收获：排查顺序是固定的——先排工程层（bug 是 0/1 的，能被穷尽排除），排干净再动算法层；且二分法按时间尺度切并不严谨，复杂情况要按信号链四问（前提关系）来切。 一句话方法论：抓崩溃前后各 10~20 条 rollout 人工读——3 分钟完成的分类，读曲线要半小时还可能分错。 监控补篇（第 2 篇，09-01 并入）：GRPO 无 critic，唯一信号来自组内相对优势——信号健康度可直接观测、必须观测。平均熵只是报警器；pass@k 取 k=group size 免费算但有四个缺口，且必须配各自调优的 temperature；题内多样性与跨题可区分度是能反向走的两个量，只测前者会漏掉最典型的”高熵模板化”坍塌——补一个一次前向的检索准确率即可堵上。 信号健康度补篇（第 3 篇，09-02 并入）：50% 零方差报警线是错的——占比是 G 与题集难度的函数，要比对预测基线；clip 上界下界分开计、按 advantage 符号解读；两侧引擎 logprob 差 mean<0.001 健康、>0.01 停训（阈值只适用 mean 不适用 max）；长度爆涨先按对错拆再定性；预警看 ESS ratio，确认看 grad norm。 策略坍塌五条 root cause（第 4 篇，09-02 并入）：σ 归一化不是 bug 也不该一刀切关——单样本权重主要由组内稀罕度而非信号可靠性决定；少数派 advantage 上界 ≈ (G-1)/√G（G=16 时 3.75，不是无限）；Dr. GRPO 去 σ 是按各自 σ 缩放不是乘常数（因此同 lr A/B 会误判”方法无效”）；DAPO 动态采样和 Dr. GRPO 去 σ 处理不同区间（p=0/1 vs 极端但非零方差），先拆零方差构成（全对/全错）再决定。

]]>