推理服务可用区延迟优化

推理服务跨可用区部署的延迟取舍，本质上是在高可用和每一次推理响应速度之间做权衡：同可用区内网延迟约0.5到1毫秒，跨可用区通常多出2到5毫秒的物理传输成本，这笔开销换来的是一旦机房故障服务依然不中断的保障，我最早接触这个命题是在给一个智能客服系统做架构升级时，当时系统单可用区部署，某天交换机故障导致全员挂起，客……