Tags
10 个页面
分布式训练
Ultra-Scale 训练的容错与 Checkpoint
FSDP1 vs FSDP2
ZeRO / DeepSpeed
Tensor Parallel（Megatron）
Expert Parallel（MoE 训练）
Pipeline Parallel
DDP 与 Ring All-Reduce
Device Mesh 与 3D/4D 并行
Megatron-LM 与 PAI-Megatron：训练框架怎么组织一次训练
梯度累积与 Global Batch