张量并行与流水并行区别

大模型训练中，张量并行适合单机多卡或高带宽通信环境下的层内切分，流水并行则适合跨节点场景下的层间切分，两者差异核心在于通信开销与计算粒度的权衡，理解两种并行方式的本质差异张量并行和流水并行解决的是不同维度的显存与算力问题,张量并行把一层Transformer的权重矩阵按行或列切开，分到多张卡上，每张卡只算一部分……