推理引擎算子融合加速

推理引擎内核融合通过合并多个计算算子、减少显存读写与内核启动次数，是当前降低大模型推理延迟最直接有效的优化手段，大模型在推理时，单次请求往往要经历几千次算子的调度与执行，如果每个算子都独立运行，GPU 就要反复等待内核启动、读写显存，大量时间浪费在“搬运数据”而不是“计算数据”上，内核融合的思路很简单：把多个相……