[!info] TL;DR 核心思想：当模型规模大到「单卡装不下、单卡跑不完」时，要在两条轴上做并行——数据轴（同一个模型复制到 N 张卡、各自跑不同 batch）和模型轴（把模型本身切碎，层间是 pipeline、层内是 tensor）。三种并行按 NVLink > InfiniBand > Ethernet 的网络拓扑分层叠加，是 Llama 3.1 405B 跑在 16K H100 上的根本方式。 最大收获：并行不是「GPU 越多越快」——通信原语（all-reduce / all-gather / reduce-scatter）和 gradient noise scale 才是决定 scaling 能不能继续的两道坎。 为什么重要：做 LLM 训练系统的同学必须搞清这三种并行的「同步点在哪、通信量多大、适合放在节点内还是跨节点」，否则写出来的并行策略不是慢就是 bubble 满天飞。

]]>