Distillation - 标签 - vllbc02's blogs

SFT、RL 与 OPD：从分布视角理解后训练

wh. — Mon, 03 Aug 2026 00:00:00 +0000

SFT、RL 与 OPD：从分布视角理解后训练

[!info] TL;DR 核心思想：把语言模型看成序列分布，post-training 就是在重塑这个分布。SFT 追随固定的外部数据分布，RL 从当前策略采样并用奖励筛选，OPD 在学生自己的状态上匹配 teacher 分布。

OPD (On-Policy Distillation)

vllbc — Fri, 31 Jul 2026 00:00:00 +0000

OPD (On-Policy Distillation)

[!info] TL;DR 核心思想：On-Policy Distillation 把 on-policy RL 的状态对齐和 KD 的密集 token 级监督结合起来。学生用自己的策略采样 rollout，对每个学生访问到的状态，让 teacher 给出 next-token 分布，学生去匹配这个分布。

MOPD：Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training

vllbc — Wed, 29 Jul 2026 00:00:00 +0000

MOPD：Multi-Teacher On-Policy Distillation

[!info] TL;DR 核心问题：经领域 RL 训练后的 LLM 在单领域很强，但如何把多个领域（Math / Code / IF / SWE）专家融合成一个统一模型？ 核心方法：Multi-Teacher On-Policy Distillation —— 三阶段流水线（General SFT → 各领域 RL 并行得 teacher → 多 teacher 蒸馏）。学生自己 rollout（on-policy），每个 prompt 路由到对应 domain teacher，teacher prefill 给 per-token log-prob，用 reverse KL 让学生模仿。 关键结果：在 Qwen3-30B-A3B 上 normalized score 0.937（vs RL Teacher 1.000、Mix-RL 0.882、Cascade RL 0.775、Param-Merge 0.328–0.857）。跨 domain 极差仅 0.044，最均匀。已在 MiMo-V2-Flash (309B) 生产训练中部署。