推理系统吞吐骤降

推理吞吐随并发上升并不会无限增长，当并发数越过硬件供给能力的临界点后，吞吐曲线会从近似线性增长转为平台期甚至回落，这个转折点就是拐点，找到它并理解它，是优化推理服务成本与性能的第一步，推理吞吐量并发拐点怎么找：先搞懂瓶颈在哪很多团队在压测时发现一个奇怪现象：并发从10加到50，吞吐涨得很漂亮；从50加到200……