推理业务GPU占用多少

做推理业务并不需要一直占着显卡，显卡占用率高低取决于推理负载的峰谷特征和资源调度方式，绝大多数场景下“按需分配、用完即释”才是更经济的做法，很多刚接触AI推理的团队容易把训练和推理混为一谈，以为模型跑起来显卡就得全天候待命，结果机房电费单和云账单一起飙红，其实推理更像是开出租车，有客人时踩油门，没客人时靠边停……