大模型分布式训练详解

数据并行（Data Parallel）是将模型副本分发到多个设备上，通过同步梯度来加速训练的核心技术，其本质是“用空间换时间”，让多台显卡共同分担计算负载，在大模型训练领域，显存瓶颈和计算耗时是两大拦路虎，当模型参数量达到千亿级别时，单张显卡不仅装不下模型，算得也慢，数据并行技术应运而生，它不改变模型结构，而是……