Tags
4 个页面
数据并行
FSDP1 vs FSDP2
ZeRO / DeepSpeed
DDP 与 Ring All-Reduce
梯度累积与 Global Batch