先在通用 SFT 模型上给每个领域单独跑 RL，得到 Math、IF、SWE 等专家；再让学生自己生成轨迹，每个 prompt 按领域路由到对应教师，教师 prefill 后给出逐 token log-prob，学生用 reverse KL 更新。Qwen3-30B-A3B 上归一化分数 0.9373，比最强基线 Mix-RL 的 0.8818 高约 5.55 个百分点。
多领域后训练常见有四类做法：把各领域数据混在一起联合 RL、按领域依次训练、在教师轨迹上做离线 SFT、合并教师权重。联合 RL 会出现 see-saw，串行训练会让先训练的能力在后续阶段衰减，离线 SFT 有 exposure bias，权重合并也不稳定。MOPD 把整合搬到策略空间：教师只负责给分，学生始终在自己的分布上训练。
三阶段是：General SFT 得到共享起点；每个领域从同一 SFT checkpoint 独立跑 RL，得到若干冻结教师；学生从同一 SFT checkpoint 初始化，对混合 prompt 自己 rollout，按 prompt 的领域路由到对应教师，最小化逐 token reverse KL。论文在 Qwen3-30B-A3B 上比较 Mix-RL、Cascade RL、Off-Policy Finetune、Param-Merge 与 MOPD，并在 MiMo-V2-Flash（309B）上跑完整流水线。
关键结果：MOPD 的归一化分数 0.9373，三个领域的分差只有 0.044；同源教师下 PG 与 Top-K 两种实现接近（0.9373 对 0.9093）；把 Math 教师换成更强的 Qwen3-235B-A22B 后反而退化，说明教师与学生的分布对齐比教师绝对能力更重要。
读完这节应该知道：为什么把多个领域专家的能力放进同一个学生，不是简单地把数据混在一起再训一遍。
论文把当前后训练拆成几条不同的 RL 流水线：数学用可验证答案的 RL，软件工程用在可执行沙箱里的 agent-style RL，指令跟随和创意写作用 rubric-based RL，搜索 agent 用 web-environment RL。每条流水线都能在自己的领域里把模型推得更远，但最终要的是一个模型同时会这些事。
难点不只是数据量。不同领域的 reward 形状、rollout 长度、环境交互方式都不同；把它们放进同一个训练循环，梯度会互相干扰，出现 see-saw effect：一个领域的分数上升，另一个领域下降。若改成串行训练，后一阶段又会改变前一阶段学到的策略。论文把这类取舍归纳为三个轴：dense optimization、on-policy training、parallelisable pipeline（Table 1）。
普通 RL 只在轨迹结束给一个 outcome reward；蒸馏可以在每个 token 位置给出教师分布，信号更密，方差更低。
离线 SFT 用教师轨迹训练，学生推理时会走到教师没覆盖的状态；on-policy 训练始终用学生自己的 rollout。
联合 RL 或串行 RL 把领域耦合在一个长任务里；如果教师训练彼此独立，某个领域调参或重启不会阻塞其他领域。
所以问题可以写成：给定一组已经训练好的领域专家 {πφd}，如何得到一个学生 πθ，使它在每个领域都接近对应专家，同时不牺牲其他领域？论文的答案是：不要合并权重，也不要模仿教师轨迹，而是让学生自己采样，让教师在自己的轨迹上逐 token 打分。
先看 Table 1 的三轴对照，再看每条路线在 Qwen3-30B-A3B 上的具体短板。
| 范式 | Dense optimization | On-policy | Parallelisable |
|---|---|---|---|
| Param-Merge | × | — | ✓ |
| Off-Policy Finetune | ✓ | × | ✓ |
| Mix-RL | × | ✓ | × |
| Cascade RL | × | ✓ | × |
| MOPD（本文） | ✓ | ✓ | ✓ |
Table 1 原文用 ✓ / × / — 标记；“—”表示该方法不涉及 on-policy 训练。论文称 MOPD 是同时满足三轴的方法。
| 路线 | 做法 | 主要短板 | Qwen3-30B-A3B 归一化分数 |
|---|---|---|---|
| Mix-RL | 把各领域 prompt 混成一个数据集联合 RL | 整体仍低于 MOPD 5.55 点；跨领域 see-saw 干扰 | 0.8818 |
| Cascade RL | 按 IF → Math → SWE 顺序逐段训练 | 后一阶段改变前一阶段策略，早期能力可能衰减；总运行时间长 | 0.7752 |
| Off-Policy Finetune | 在教师 rollout 上做 SFT | exposure bias；离线模仿在不同任务类型上迁移不均 | 0.8241 |
| Param-Merge | 权重平均或 task arithmetic 合并教师 | 对合并配方敏感，通常达不到所有教师的完整能力 | 0.3280 / 0.8574 |
表 0A 的数字取自 Table 2 的 Norm. score 列；Param-Merge 的两个数分别是简单平均与 Task Arithmetic。
所有领域 prompt 放进一个 batch，每个样本仍用自己的 reward 和 advantage。论文指出跨领域训练信号会干扰，产生 see-saw effect；Table 2 中它是最平衡的基线（领域间极差 0.064），但整体仍比 MOPD 低 5.55 个百分点。
按 IF → Math → SWE 顺序训练。论文报告第一段 IF 关闭了 98% 的 headroom，第二段 Math 只关闭 57%；Figure 2 还显示 Math 准确率在后续 SWE 阶段下降。这里论文用的是“可能衰减”，没有把它写成所有能力都灾难性遗忘。
先训练领域教师，再用教师生成的轨迹做离线 SFT。论文把问题归为 exposure bias：学生训练时看到的是教师分布，推理时却走自己的分布。Table 2 中它在 IF 上超过教师（归一化 1.01），但 SWE 只关闭 65% 的 headroom（相对教师 1.0；归一化分数 0.649）。
直接平均教师权重或做 task arithmetic。简单平均的归一化分数只有 0.3280，Task Arithmetic 回升到 0.8574，但每个领域的表现随合并系数和 benchmark 大幅变化；论文据此认为参数合并不够可靠。
方法的核心不是新 RL 算法，而是把“多教师整合”写成一个按 prompt 路由的 on-policy 蒸馏目标。
设学生为 πθ，领域 d 的冻结教师为 πφd。对每个 prompt x，先按它的领域选一个教师；学生生成一条轨迹 y ∼ πθ(·|x)，教师在同一轨迹上 prefill，得到每个位置的概率分布。目标是最小化逐 token 的 reverse KL：
这个目标有两个直接后果。第一，训练分布始终是学生自己的，所以不会出现离线 SFT 的 exposure bias。第二，教师在每个 token 位置给出完整分布，监督信号比轨迹级 reward 密得多；论文把这两点分别称为 no exposure bias 与 dense per-token supervision。
把 reverse KL 的梯度写成策略梯度，教师与学生的 log-prob 差就是逐 token advantage：
直观上，学生在某个 token 上的概率低于教师，log 差为正，梯度会把该 token 的概率往上推；高于教师则相反。它只用到采样到的那一个 token，因此实现简单，但每个位置只利用教师分布的一个点。
另一个选择是只在教师概率最高的 k 个 token 上蒸馏，k 默认 64。设 Tdt 为教师在位置 t 的 top-k token 集合：
Top-K 的工程价值是传输量小：教师只需返回 top-k token 的 logits，不必把整个词表分布每个 token 都发给训练器，因而可以像轻量 reward 一样传递。论文的消融显示，同源教师下它的整体分数是 0.9093，低于 PG 的 0.9373，差距约 2.8 个百分点；在 Math 上两者接近，IF 和 SWE 略低。
第 3 阶段每个 batch 从多领域数据集采样；轨迹按 prompt 所属领域 dispatch 到对应教师，教师冻结，只提供 log-prob。这个设计保证 loss 归属明确：Math prompt 不会被 IF 教师打分，SWE prompt 也不会被 Math 教师拉走。论文还把每个领域教师部署成独立的 prefill 服务，异步返回结果。
MOPD 没有省掉领域 RL 的算力；它省掉的是“把所有领域塞进一个联合训练循环”带来的耦合与等待。
| 项目 | 设置 | 说明 |
|---|---|---|
| 基础模型 | Qwen3-30B-A3B-Base | 先做覆盖目标领域的通用 SFT，所有基线共享该 checkpoint |
| 领域 RL | on-policy GRPO + Dynamic Sampling | 每个 rollout 只做一次梯度更新；学习率 3×10−6 |
| Math / IF batch | BS 144，N = 8 | 约 175K sequences；最大长度 32,768 |
| SWE batch | BS 80，N = 8 | 约 150K sequences；最大长度 65,536；最多 50 轮交互 |
| Mix-RL | LR 4×10−6，BS 256，N = 8 | 每 batch 领域比例 Math : IF : SWE = 0.35 : 0.35 : 0.3 |
| MOPD Stage 3 | BS 2048，N = 1 | 不用 Dynamic Sampling；领域比例同上 |
| 蒸馏超参 | Amax = 5；Top-K k = 64 | PG 形式的 advantage 双侧裁剪；Top-K 形式的候选 token 数 |
| 评测 | 温度 1.0，不用 top-p / top-k | AIME25/26 用 avg@32；IFBench/IFEval 每题一次；SWE-bench Verified 每题一次 |
Appendix A / B：论文没有给出 GPU 型号、卡数或总 GPU 小时，也没有把各基线的总算力对齐成一张表；页面只转录它给出的超参。
每个领域从同一 SFT checkpoint 出发，独立选 RL recipe、reward、sandbox 与超参；一个领域训练失败或重启，不影响其他教师。
学生 sampler 持续生成；一条序列结束后，训练器向对应教师服务发异步 prefill 请求。教师计算与其他序列的采样重叠，论文称在部署中 teacher “contributed nearly no measurable wall-clock overhead”。
仍要支付 Stage 1 SFT、Stage 2 每个领域 RL、Stage 3 学生 rollout 与教师 prefill。省的是人工合并与串行等待，不是教师训练本身。
这也解释了为什么论文把“parallelisable pipeline”当作与 dense、on-policy 并列的轴：MOPD 的结构把能力生产（Stage 2）与能力整合（Stage 3）拆开，领域团队可以各自迭代，最后只在一个蒸馏阶段汇合。代价是系统更复杂：需要路由、教师服务、异步 prefill 和跨服务传输 top-k logits；论文在单篇里没有给这些组件的吞吐或故障率数据。
流程图上最重要的两条线：Stage 2 的教师并行分叉，以及 Stage 3 学生 rollout 与教师打分的汇合。
教师不是从外部拿来的强模型，而是从同一个 SFT checkpoint 出发做领域 RL 得到的。因此教师与学生的初始策略分布接近，Stage 3 开始时的 KL 就低，训练更平滑。论文用一组替换实验验证这一点：把 Math 教师换成 Qwen3-235B-A22B（数学更强、但分布不同），其他教师与超参不变。
PG 与 Top-K 两条训练曲线都平滑，Math 准确率稳步上升，策略熵稳定在 0.30 左右（Figure 3）。论文的默认 MOPD 用的就是这种教师。
论文称约高 5 倍（0.19 / 0.04 = 4.75，原文写约 5×）。PG 形式下 Math 准确率逐步退化，熵从 0.30 收缩到 0.21；Top-K 形式在约第 18 步出现灾难性发散，KL 与熵剧烈震荡（Figure 3）。
这组结果的含义不是“强教师没用”，而是：在 on-policy 蒸馏里，教师与学生的分布对齐会直接影响优化稳定性。论文没有把 cross-origin 退化拆成“梯度方向错”还是“方差爆炸”两个机制；它给出的解释是学生在教师低概率区域收到的主要是惩罚性梯度，策略收窄到单一模式。Top-K 的发散则是实验观察，论文没有给收敛性证明。
先看主表，再用可切换的归一化分数图比较各方法；最后看 309B 模型、两种 loss 与多轮迭代。
| 方法 | AIME25 | AIME26 | IFBench | IFEval | SWE-bench Verified | Norm. score |
|---|---|---|---|---|---|---|
| Student（SFT-only） | 45.42 | 54.48 | 42.69 | 84.17 | 35.80 | 0.0000 |
| RL Teacher | 54.79 | 63.65 | 78.40 | 95.50 | 51.20 | 1.0000 |
| Mix-RL | 52.71 | 63.75 | 75.00 | 94.58 | 48.80 | 0.8818 |
| Cascade RL | 48.54 | 61.88 | 77.11 | 95.80 | 47.80 | 0.7752 |
| Off-Policy Finetune | 51.56 | 63.44 | 80.95 | 93.35 | 45.80 | 0.8241 |
| Param-Merge（Avg.） | 47.81 | 59.58 | 53.74 | 88.79 | 39.60 | 0.3280 |
| Param-Merge（Task Arith.） | 49.38 | 63.96 | 78.23 | 95.81 | 48.80 | 0.8574 |
| MOPD（本文） | 51.46 | 65.31 | 77.89 | 93.84 | 50.40 | 0.9373 |
| Δ（MOPD − RL Teacher） | −3.33 | +1.66 | −0.51 | −1.66 | −0.80 | −0.0627 |
Table 2：AIME25 / AIME26 用 avg@32；IFBench / IFEval / SWE-bench Verified 每题一次。归一化分数按 §4.1：s̃d = (sd − ssd) / (std − ssd)，0 等于 SFT 学生，1 等于领域教师，三领域取平均。MOPD 在 AIME26 上比教师高 1.66 点；其余四个 benchmark 都低于教师，其中 AIME25 低 3.33 点，IFBench / IFEval / SWE 分别低 0.51 / 1.66 / 0.80 点。
Table 2 的 Norm. score 是三个领域的平均；下面的图把它拆开。每个领域的分数用同一公式从该领域的 benchmark 准确率重算，例如 Math 取 AIME25 与 AIME26 的平均，IF 取 IFBench 与 IFEval 的平均（页面假设：原文没有逐条说明多 benchmark 领域的合并方式；按此重算的整体均值与 Table 2 的 Norm. score 对账相符，也与 §4.2 的 0.044、0.57–0.98、0.65–1.01 一致）。
Math · MOPD。SFT 学生 Math 平均 = (45.42 + 54.48) / 2 = 49.95；领域教师平均 = (54.79 + 63.65) / 2 = 59.22；MOPD 平均 = (51.46 + 65.31) / 2 = 58.385。归一化 = (58.385 − 49.95) / (59.22 − 49.95) = 8.435 / 9.27 = 0.9099，页面显示 0.910，柱高 round((0.9099 / 1.01) × 1000) / 10 = 90.1%。
整体 · MOPD。Table 2 的 Norm. score 列直接给 0.9373；用三个领域的归一化值平均也能得到 (0.9099 + 0.9539 + 0.9481) / 3 = 0.9373。柱高 = round((0.9373 / 1.01) × 1000) / 10 = 92.8%。
整体 · Mix-RL。Table 2 给 0.8818，柱高 round((0.8818 / 1.01) × 1000) / 10 = 87.3%；它比 MOPD 低 0.9373 − 0.8818 = 0.0555，即 5.55 个百分点。
柱高下限 1.2%，本图最小值是 Param-Merge Avg. 的 0.247（柱高 24.5%），不会触发。图中只画七个方法，完整逐 benchmark 数字见 Table 2。
Mix-RL 的领域间极差是 0.064，是四个基线里最小的；但它的整体归一化分数 0.8818，仍比 MOPD 的 0.9373 低 5.55 个百分点。论文把它归因于跨领域信号干扰。
Cascade 的 IF 归一化分数 0.979，接近教师；Math 只有 0.567。Figure 2 显示 Math 准确率在后续 SWE 阶段下降，说明串行训练确实会让先训练的能力回退。
Off-Policy 的 IF 归一化分数 1.009，略高于教师；SWE 只有 0.649，论文说离线模仿教师轨迹在不同任务类型上迁移不均。
MOPD 三个领域是 0.910 / 0.954 / 0.948，极差 0.044；Cascade 是 0.412，Off-Policy 是 0.359。两个极差按未舍入的三领域归一化值计算：Cascade 0.978954 − 0.567422 = 0.411532，记 0.412；Off-Policy 1.008503 − 0.649351 = 0.359153，记 0.359（若用页面显示的三位小数相减，Off-Policy 会得到 0.360）。论文据此说 MOPD 的 profile 最均匀，但没有说它是唯一均匀的方法。
Figure 2 的横轴是每个领域累计训练的样本数。论文报告 MOPD 在 IF 上约 25K 样本、SWE 上约 30K 样本就到达教师水平；Mix-RL 则要在每个领域用满 150–180K 样本才接近同一水平。按这组数字算，IF 约 6.0–7.2 倍、SWE 约 5.0–6.0 倍 推断（由 §4.2 的 25K/30K 与 150–180K 相除）。这里的“省样本”指 Stage 3 蒸馏达到平台所需的数据，不是总训练算力。
| 模型 | AIME25 | HMMT25 | LCB | IFBench | SWE-Bench V. | τ²-Bench | τ²-Telecom |
|---|---|---|---|---|---|---|---|
| Student | 89.3 | 76.9 | 77.5 | 55.4 | 67.8 | 75.9 | 92.7 |
| Teacher | 93.9 | 82.6 | 82.6 | 68.9 | 74.2 | 79.6 | 95.0 |
| MOPD | 94.1 | 84.4 | 83.2 | 66.7 | 73.4 | 80.3 | 95.3 |
| Δ（MOPD − Teacher） | +0.2 | +1.8 | +0.6 | −2.2 | −0.8 | +0.7 | +0.3 |
Table 3：MiMo-V2-Flash 是 309B 参数模型，覆盖 Math、Code、IF、SWE、Tool Use 五类教师。MOPD 在七个 benchmark 中五个高于教师，IFBench 低 2.2 点、SWE-Bench Verified 低 0.8 点。论文称这是“most benchmarks 持平或超过”，不是全部超过。
| Math 教师 | Loss 形式 | AIME25 | AIME26 | IFBench | IFEval | SWE-bench Verified | Norm. score |
|---|---|---|---|---|---|---|---|
| RL Teacher（同源） | Policy gradient | 51.46 | 65.31 | 77.89 | 93.84 | 50.40 | 0.9373 |
| RL Teacher（同源） | Top-K distillation | 51.77 | 64.79 | 75.85 | 93.07 | 50.20 | 0.9093 |
| Qwen3-235B-A22B | Policy gradient | 45.63 | 51.56 | 79.25 | 93.99 | 50.60 | 0.6003 |
| Qwen3-235B-A22B | Top-K distillation | 0.94 | 0.42 | 72.96 | 88.97 | 51.20 | −1.1898 |
Table 4：Top-K 都用 k = 64。外部教师虽然绝对数学能力更强，但初始 KL 约为同源设置的 5 倍（0.19 对 0.04，比值 4.75，原文写约 5×）；PG 形式下 Math 逐步退化，Top-K 形式在约第 18 步发散，AIME25/AIME26 掉到 0.94/0.42，归一化分数 −1.1898。
| 轮次 | AIME25 | AIME26 | IFBench | IFEval | SWE-bench Verified | Norm. score |
|---|---|---|---|---|---|---|
| Iter 1 MOPD | 51.46 | 65.31 | 77.89 | 93.84 | 50.40 | 0.937 |
| Iter 2 RL Teacher | 54.27 | 65.52 | 81.46 | 95.65 | 50.40 | 1.030 |
| Iter 2 MOPD | 53.44 | 64.90 | 79.76 | 95.44 | 50.20 | 0.986 |
Table 5：第二轮只用 Iter-1 学生重新训练 Math 与 IF 教师，SWE 不重新训练，所以 SWE 分数只反映间接影响。Iter-2 教师归一化 1.030，比 Iter-1 MOPD 高 0.093；Iter-2 学生 0.986，比 Iter-1 高 0.049。
这组数字说明一轮 MOPD 之后 Math 与 IF 仍有 headroom，把学生当作下一轮教师的初始化还能继续提升。论文没有给“为什么会收敛”的理论分析，也没有证明多轮一定单调；它只报告了这一次 Iter-2 的结果。
MOPD 的失败条件比成功条件更值得看：教师必须同源，Stage 2 的算力省不掉，任务仍以可验证领域为主。
Table 4 的 Qwen3-235B-A22B 实验说明，教师绝对能力更强并不保证学生更好。跨分布教师的初始 KL 高约 5 倍，PG 退化、Top-K 发散。要用外部教师，可能需要先做分布对齐或重新训练教师，论文没有给这套流程。
Stage 2 仍要为每个领域跑完整 RL；Stage 3 还要学生 rollout 与教师 prefill。论文没有给 GPU 型号、卡数、总 GPU 小时，也没有把各基线对齐到相同算力，因此不能把 0.9373 当成“同算力下必然更好”。
任务范围也有限。主实验是 Math（AIME25/26）、IF（IFBench/IFEval）与 SWE（SWE-bench Verified）三个领域；MiMo-V2-Flash 扩展到 Code、Tool Use 等，但它是工业模型，论文没有公开 309B 的完整超参、数据配比与训练细节。开放域生成、多模态、长程 Agent 任务没有验证。
方法上，MOPD 仍以 reverse KL 模仿教师，教师的错误会以逐 token 监督的形式传给学生（推断，由 Eq. 1 的逐 token KL 目标推出）；论文没有给教师质量的上界分析，也没有讨论教师在某些 token 上过度自信时的校正。多轮迭代只验证了一轮，且 SWE 没有重新训练教师，不能据此推断所有领域都能持续提升。
最后，路由假设每个 prompt 的领域是已知的。论文的数据集按领域组织，所以路由是明确的；如果遇到跨领域 prompt、混合任务或领域边界模糊的输入，需要额外的分类器或路由策略，论文没有评估这部分误差。