推理吞吐自适应调节

推理批尺寸动态调节的核心答案不是“调一个固定值”，而是让引擎在每次迭代中根据显存水位、请求队列长度和请求类型自动决定batch size，优先保证吞吐稳定而不被某一个大请求堵死，大模型上线之后,很多人还抱着玩传统深度学习的习惯，把batch size当成一个超参，调完就固定不动，但推理场景的输入长度是动态的，请……