大模型分布式 - 分类 - vllbc02's blogs

大模型分布式

2025

device_mesh 07-26

tensor_parallel 07-23

pipeline parallelism 07-23

data_parallel 07-23

zero 07-22

ring-all-reduce 07-17

ulysses_sequence_parallel 07-08

fsdp 07-06