Reading-Note - 标签 - vllbc02's blogs

LLM 训练教程 · Ch12 端到端 CPT（继续预训练）

zsc — Tue, 01 Sep 2026 00:00:00 +0000

本章讲 Continued Pre-Training 的端到端实践：CPT 介于从零预训练与 SFT 之间，负责"学什么"（知识注入）而非"怎么说"（行为塑造）。核心敌人是灾难性遗忘—— 激进训练会把权重从通用分布的平坦极小值拽进新领域的尖锐深谷。三大支柱：数据混比（5-20%，动态采样）、优化器与 LR（1/10 峰值、短 warmup、重算 decay 总步数、丢弃旧 m/v）、双 PPL 监控诊断。附 7B 配置清单与 5 大陷阱查表。

Ultra-Scale Playbook · High-Level Overview 速查

Wed, 26 Aug 2026 00:00:00 +0000

Hugging Face nanotron 团队基于 4100+ 实验、512 GPU 集群的分布式训练方法论。原笔记 [[UltraScale Playbook 笔记]] 是完整教材；本文聚焦 high-level overview，提供 5D 并行速查表 + 选型决策树 + 集合通信原语速查 + 显存四件套对照，目标是 30 秒抓住主线、5 分钟能查、能选。

SAO — Single-Rollout Asynchronous Optimization for Agentic RL

Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong — Fri, 21 Aug 2026 00:00:00 +0000

SAO: Single-Rollout Asynchronous Optimization

笔记地图

问题定义：同步 vs 异步 RL 的根本矛盾
方法：DIS + Single-rollout + 三个 value 改进
实验：6 个基准 + ablation + 训练动态 + 在线学习仿真
相关工作：与 GRPO / VAPO / AReaL 的关系
我的疑问：frozen-attention 的代价？DIS 在长 horizon 是否还有效？

阅读进度：当前 read-status: in-progress，用 [[Meta Bind]] 插件可一键切换

GLM-5.3 阅读笔记 — 后训练 scaling、SAO 算法与 Slime 框架

知乎专栏《deep research》 — Mon, 17 Aug 2026 00:00:00 +0000

GLM-5.3 — 后训练 scaling 与 SAO 算法

[!info] TL;DR 核心思想：复用基座，把资源堆到后训练上。GLM-5.3 的全部提升（自研 Z.ai Code Bench +50%）来自后训练 pipeline 的三处扩展——算法（SAO 单轨迹异步 RL 替代 GRPO）、框架（Slime 异步训练框架）、环境（百万级可执行 sandbox）。

SFT、RL 与 OPD：从分布视角理解后训练

wh. — Mon, 03 Aug 2026 00:00:00 +0000

SFT、RL 与 OPD：从分布视角理解后训练

[!info] TL;DR 核心思想：把语言模型看成序列分布，post-training 就是在重塑这个分布。SFT 追随固定的外部数据分布，RL 从当前策略采样并用奖励筛选，OPD 在学生自己的状态上匹配 teacher 分布。

OPD (On-Policy Distillation)

vllbc — Fri, 31 Jul 2026 00:00:00 +0000

OPD (On-Policy Distillation)

[!info] TL;DR 核心思想：On-Policy Distillation 把 on-policy RL 的状态对齐和 KD 的密集 token 级监督结合起来。学生用自己的策略采样 rollout，对每个学生访问到的状态，让 teacher 给出 next-token 分布，学生去匹配这个分布。

Training extremely large neural networks across thousands of GPUs

Jeremy Jordan — Thu, 30 Jul 2026 00:00:00 +0000

Training extremely large neural networks across thousands of GPUs

[!info] TL;DR 核心思想：当模型规模大到「单卡装不下、单卡跑不完」时，要在两条轴上做并行——数据轴（同一个模型复制到 N 张卡、各自跑不同 batch）和模型轴（把模型本身切碎，层间是 pipeline、层内是 tensor）。三种并行按 NVLink > InfiniBand > Ethernet 的网络拓扑分层叠加，是 Llama 3.1 405B 跑在 16K H100 上的根本方式。 最大收获：并行不是「GPU 越多越快」——通信原语（all-reduce / all-gather / reduce-scatter）和 gradient noise scale 才是决定 scaling 能不能继续的两道坎。 为什么重要：做 LLM 训练系统的同学必须搞清这三种并行的「同步点在哪、通信量多大、适合放在节点内还是跨节点」，否则写出来的并行策略不是慢就是 bubble 满天飞。