FSDP原理详解

FSDP（Fully Sharded Data Parallel）通过将模型参数、梯度和优化器状态在多个GPU间进行分片存储与通信，从而显著降低单卡显存占用，是实现大模型分布式训练的核心技术之一，在大模型训练领域,显存瓶颈往往是阻碍模型规模扩展的最大拦路虎，传统的并行策略各有局限，而FSDP通过一种“碎片化”的……