NCCL - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/nccl/ NCCL - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Tue, 07 Jul 2026 00:00:00 +0000 DeepSeek V4 Infra Deep Dive 4.4: PyTorch 训练显存管理 https://blog.vllbc.top/deepseek-v4-infra-4.4-%E8%AE%AD%E7%BB%83%E6%98%BE%E5%AD%98%E7%AE%A1%E7%90%86/ Tue, 07 Jul 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/deepseek-v4-infra-4.4-%E8%AE%AD%E7%BB%83%E6%98%BE%E5%AD%98%E7%AE%A1%E7%90%86/

来源：DeepSeekV4 Infra Deep Dive · 第四节 4.4: PyTorch 训练显存管理：从 Caching Allocator 到 Stream 同步

系列：可灵 AI infra 训练团队出品，全文系列见原文末链接。本文是该系列的 4.4 一篇，专门讲训练显存怎么分、怎么 OOM、怎么省。

]]>