Tags
9 个页面
Megatron
长上下文训练与 remove_padding
Tensor Parallel（Megatron）
Expert Parallel（MoE 训练）
Pipeline Parallel
Sequence Parallel & Context Parallel
Device Mesh 与 3D/4D 并行
训练显存、FLOPs 与参数量
FP8 训练
Megatron-LM 与 PAI-Megatron：训练框架怎么组织一次训练