device_mesh

verl中的device_mesh

verl中有3个device_mesh，分别是： - 训练用的FSDP mesh（通常是一维） - 推理用的rollout mesh（包含tp维度） - Ulysses序列并行的mesh（dp×sp）

fsdp mesh

rollout mesh

ulysses mesh