来源：The Ultra-Scale Playbook: Training LLMs on GPU Clusters（Hugging Face nanotron 团队，2025）

BibTeX: Tazi et al., “The Ultra-Scale Playbook: Training LLMs on GPU Clusters”, 2025.

配套仓库：nanotron（生产级）、picotron（教学级）

原书基于 4100+ 组分布式实验、16k+ 测试运行 的实测数据写成，是当前最系统的分布式 LLM 训练手册。本文按主线整理：先把”为什么会爆显存”的代价讲清楚，再讲 5 种并行 + ZeRO 怎么对付这些代价，最后给出选型决策三步法。所有公式、表格、决策规则均保留原文细节。