Pretraining - 标签 - vllbc02's blogs

LLM 训练教程 · Ch12 端到端 CPT（继续预训练）

zsc — Tue, 01 Sep 2026 00:00:00 +0000

本章讲 Continued Pre-Training 的端到端实践：CPT 介于从零预训练与 SFT 之间，负责"学什么"（知识注入）而非"怎么说"（行为塑造）。核心敌人是灾难性遗忘—— 激进训练会把权重从通用分布的平坦极小值拽进新领域的尖锐深谷。三大支柱：数据混比（5-20%，动态采样）、优化器与 LR（1/10 峰值、短 warmup、重算 decay 总步数、丢弃旧 m/v）、双 PPL 监控诊断。附 7B 配置清单与 5 大陷阱查表。

Ultra-Scale Playbook · High-Level Overview 速查

Wed, 26 Aug 2026 00:00:00 +0000

Hugging Face nanotron 团队基于 4100+ 实验、512 GPU 集群的分布式训练方法论。原笔记 [[UltraScale Playbook 笔记]] 是完整教材；本文聚焦 high-level overview，提供 5D 并行速查表 + 选型决策树 + 集合通信原语速查 + 显存四件套对照，目标是 30 秒抓住主线、5 分钟能查、能选。

DeepSeek V4 Infra Deep Dive 4.4: PyTorch 训练显存管理

vllbc — Tue, 07 Jul 2026 00:00:00 +0000

来源：DeepSeekV4 Infra Deep Dive · 第四节 4.4: PyTorch 训练显存管理：从 Caching Allocator 到 Stream 同步

系列：可灵 AI infra 训练团队出品，全文系列见原文末链接。本文是该系列的 4.4 一篇，专门讲训练显存怎么分、怎么 OOM、怎么省。

The Ultra-Scale Playbook 学习笔记

vllbc — Wed, 24 Jun 2026 00:00:00 +0000

来源：The Ultra-Scale Playbook: Training LLMs on GPU Clusters（Hugging Face nanotron 团队，2025）

BibTeX: Tazi et al., “The Ultra-Scale Playbook: Training LLMs on GPU Clusters”, 2025.

配套仓库：nanotron（生产级）、picotron（教学级）

原书基于 4100+ 组分布式实验、16k+ 测试运行 的实测数据写成，是当前最系统的分布式 LLM 训练手册。本文按主线整理：先把”为什么会爆显存”的代价讲清楚，再讲 5 种并行 + ZeRO 怎么对付这些代价，最后给出选型决策三步法。所有公式、表格、决策规则均保留原文细节。

Qwen2.5-3.7 系列最全总结

vllbc — Fri, 05 Jun 2026 00:00:00 +0000

来源：Qwen2.5-3.7系列最全总结~（作者：自动学习机 / 丁师兄，知乎原文 https://zhuanlan.zhihu.com/p/2045665300545262204）

注：Qwen 3.5 之后没有 technical report，只发了 blog，本文很多地方只能基于假设与论文缺省。

下文按”架构 → 预训练 → 后训练”的主线，整理从 Qwen2.5 到 Qwen3.7 的演进。