ZeRO - 标签 - vllbc02's blogs

Ultra-Scale Playbook · High-Level Overview 速查

Wed, 26 Aug 2026 00:00:00 +0000

Hugging Face nanotron 团队基于 4100+ 实验、512 GPU 集群的分布式训练方法论。原笔记 [[UltraScale Playbook 笔记]] 是完整教材；本文聚焦 high-level overview，提供 5D 并行速查表 + 选型决策树 + 集合通信原语速查 + 显存四件套对照，目标是 30 秒抓住主线、5 分钟能查、能选。

DeepSeek V4 Infra Deep Dive 4.4: PyTorch 训练显存管理

vllbc — Tue, 07 Jul 2026 00:00:00 +0000

来源：DeepSeekV4 Infra Deep Dive · 第四节 4.4: PyTorch 训练显存管理：从 Caching Allocator 到 Stream 同步

系列：可灵 AI infra 训练团队出品，全文系列见原文末链接。本文是该系列的 4.4 一篇，专门讲训练显存怎么分、怎么 OOM、怎么省。

The Ultra-Scale Playbook 学习笔记

vllbc — Wed, 24 Jun 2026 00:00:00 +0000

来源：The Ultra-Scale Playbook: Training LLMs on GPU Clusters（Hugging Face nanotron 团队，2025）

BibTeX: Tazi et al., “The Ultra-Scale Playbook: Training LLMs on GPU Clusters”, 2025.

配套仓库：nanotron（生产级）、picotron（教学级）

原书基于 4100+ 组分布式实验、16k+ 测试运行 的实测数据写成，是当前最系统的分布式 LLM 训练手册。本文按主线整理：先把”为什么会爆显存”的代价讲清楚，再讲 5 种并行 + ZeRO 怎么对付这些代价，最后给出选型决策三步法。所有公式、表格、决策规则均保留原文细节。