深度学习批量大小调优技巧

推理批量大小直接决定GPU计算单元能否被充分喂饱，调大batch size通常是提升GPU利用率最直接、成本最低的手段，但它并非越大越好，显存上限和延迟要求共同画出了天花板，为什么GPU利用率会卡在batch size上很多人盯着nvidia-smi里跳动的百分比，以为是显卡不行或者代码写得差，相当一部分“利用……