大模型分布式 LLM device_mesh verl中的device_mesh verl中有3个device_mesh,分别是: - 训练用的FSDP mesh(通常是一维) - 推理用的rollout mesh(包含tp维度) - Ulysses序列并行的mesh(dp×sp) fsdp mesh rollout mesh ulysses mesh