编译缓存命中率提升

模型编译缓存复用是当下加速推理启动最直接、成本最低的手段，通过复用编译产物，推理框架能跳过耗时最长的算子编译阶段，多数场景下可将冷启动时间缩短一个数量级以上，这个结论来自一个让不少人踩过坑的日常：模型训练好之后，部署到推理环境，第一次调用总是卡顿明显——很多情况下，启动几秒、几十秒甚至更久，都耗在了同一条路上……