流水并行气泡消减技巧

流水并行的气泡本质是“等”，等前一个stage算完，等后一个stage把梯度传回来，这期间GPU空转就是气泡，消减气泡的核心思路只有三条：把任务拆得更碎、把顺序排得更好、把空闲时间用来做别的，流水并行气泡到底是怎么冒出来的很多人在本地调通单卡训练后,第一次上多卡流水并行，发现GPU利用率惨不忍睹，打开nsys或……