引擎编译优化收益

推理引擎编译优化对延迟的改善空间相当可观，在多数场景下能将单次推理的P99延迟降低一个肉眼可见的量级，部分复杂模型甚至能获得接近翻倍的提速，但具体收益高度依赖模型结构、硬件平台和编译策略的匹配度，推理引擎编译优化到底在优化什么很多人把编译优化当成一个黑盒,觉得把模型扔进去跑个编译就完事了，编译优化干的活非常具体……