训练大模型需要多大显存

显存容量越大不等于模型训练越快， 显存大小决定的是“能不能装下”模型，而训练速度主要取决于GPU算力、显存带宽以及数据读写效率，只有在显存不够用、被迫降低批次大小或使用CPU换页时，加大显存才会带来明显的速度提升，换句话说，显存是仓库，算力是工人——仓库再大，工人速度不变，出货速度也不会变快，显存容量越大模型训……