大模型训练切分经验

模型并行切分粒度的选择没有绝对最优解，核心在于匹配你的集群拓扑、显存容量与计算效率；粗粒度省通信但显存浪费严重，细粒度显存均衡但通信开销指数级上升，实操中往往需要在两者之间找到性价比拐点，这几年做大模型训练,并行策略几乎是绕不开的坎，你可能会搜到各种关于模型并行训练切分粒度怎么选的文章，但真正落地时，很多人还是……